Algoritmo para clasificación binaria
Tengo un conjunto de datos con una gran cantidad de características (aproximadamente 3000) y una variable de destino binaria. La razón por la que tengo demasiadas funciones se debe a una codificación en caliente de muchas variables categóricas en mi conjunto de datos.
Creo que la regresión logística solo puede funcionar con una pequeña cantidad de características.
Entonces, dado que tengo muchas características, ¿qué algoritmo debo usar para obtener una mejor puntuación de clasificación?
Mi objetivo es aumentar la métrica ROC-AUC para esta tarea de clasificación.
¿Es mejor usar SVM o redes neuronales?
Respuestas
Lo primero que me viene a la mente es hacer diferentes codificaciones. Hay algunas formas de tratar con datos categóricos de alta cardinalidad, como: Codificación de etiquetas o la famosa codificación de destino . Antes que nada, recomendaré cambiar el tipo de codificación.
Pero, desde su pregunta sobre qué predictor usar con datos pequeños y espaciales. Seguiré con regresión logística, árbol de decisión o SVM. Cuando los datos son pequeños, todos los algoritmos tienden a funcionar de manera bastante similar.
Cosas como Random Forest pueden funcionar bien ya que hacen bootstrapping lo que tiende a ser una forma de muestrear sus datos con reemplazo.