Algorithme de classification binaire
J'ai un ensemble de données avec un grand nombre de fonctionnalités (environ 3000) et une variable cible binaire. La raison pour laquelle j'ai trop de fonctionnalités est à cause d'un encodage à chaud de nombreuses variables catégorielles dans mon ensemble de données.
Je pense que la régression logistique pourrait ne fonctionner qu'avec un petit nombre de fonctionnalités.
Donc, étant donné que j'ai de nombreuses fonctionnalités, quel algorithme dois-je utiliser pour un meilleur score de classification?
Mon objectif est d'augmenter la métrique ROC-AUC pour cette tâche de classification.
Est-il préférable d'utiliser SVM ou des réseaux neuronaux?
Réponses
La première chose qui me vient à l'esprit est de faire différents encodages. Il existe quelques moyens de traiter les données catégorielles à cardinalité élevée telles que: l'encodage d'étiquettes ou le fameux encodage cible . Avant toute chose, je recommanderai de changer le type d'encodage.
Mais, depuis votre question sur quel prédicteur utiliser avec des données petites et spatiales. J'irai encore avec la régression logistique, l'arbre de décision ou SVM. Lorsque les données sont petites, tous les algorithmes ont tendance à fonctionner de manière assez similaire.
Des choses comme Random Forest peuvent bien fonctionner car elles amorcent ce qui est généralement un moyen d'échantillonner vos données avec remplacement.