Algoritmo para classificação binária
Eu tenho um conjunto de dados com um grande número de recursos (aproximadamente 3000) e uma variável de destino binária. A razão de eu ter tantos recursos é por causa de uma codificação quente de muitas variáveis categóricas em meu conjunto de dados.
Acho que a regressão logística pode funcionar apenas com um pequeno número de recursos.
Portanto, visto que tenho muitos recursos, qual algoritmo devo usar para uma melhor pontuação de classificação?
Meu objetivo é aumentar a métrica ROC-AUC para esta tarefa de classificação.
É melhor usar SVM ou redes neurais?
Respostas
A primeira coisa que me vem à mente é fazer codificações diferentes. Existem algumas maneiras de lidar com dados categóricos de alta cardinalidade, como: Codificação de rótulo ou a famosa codificação de destino . Antes de mais nada, recomendo alterar o tipo de codificação.
Mas, desde a sua dúvida sobre qual preditor usar com dados pequenos e espaciais. Irei ainda com regressão logística, árvore de decisão ou SVM. Quando os dados são pequenos, todos os algoritmos tendem a funcionar de maneira bastante semelhante.
Coisas como Random Forest podem ter um bom desempenho, pois fazem bootstrapping, o que tende a ser uma forma de amostrar seus dados com substituição.