Algorithmus zur binären Klassifikation

Question

Ich habe einen Datensatz mit einer großen Anzahl von Funktionen (ungefähr 3000) und eine binäre Zielvariable. Der Grund, warum ich zu viele Funktionen habe, liegt in einer Hot-Codierung vieler kategorialer Variablen in meinem Datensatz.

Ich denke, dass die logistische Regression möglicherweise nur mit einer geringen Anzahl von Funktionen funktioniert.

Welchen Algorithmus sollte ich angesichts der vielen Funktionen für eine bessere Klassifizierung verwenden?

Mein Ziel ist es, die ROC-AUC-Metrik für diese Klassifizierungsaufgabe zu erhöhen.

Ist es besser, SVM oder neuronale Netze zu verwenden?

Answer 1

Das erste, was mir in den Sinn kommt, ist, verschiedene Codierungen vorzunehmen. Es gibt einige Möglichkeiten, mit kategorialen Daten mit hoher Kardinalität umzugehen, z. B.: Label-Codierung oder die berühmte Zielcodierung . Vor allem empfehle ich, den Codierungstyp zu ändern.

Aber seit Ihrer Frage, welchen Prädiktor Sie mit kleinen und räumlichen Daten verwenden. Ich werde mich weiterhin mit logistischer Regression, Entscheidungsbaum oder SVM befassen. Wenn die Daten klein sind, funktionieren alle Algorithmen in der Regel ziemlich ähnlich.

Dinge wie Random Forest funktionieren möglicherweise gut, da sie Bootstrapping durchführen, was eine Möglichkeit ist, Ihre Daten durch Ersetzen abzutasten.