Algorytm klasyfikacji binarnej
Mam zestaw danych z ogromną liczbą funkcji (około 3000) i binarną zmienną docelową. Powodem, dla którego mam zbyt wiele funkcji, jest jedno kodowanie na gorąco wielu zmiennych kategorialnych w moim zestawie danych.
Myślę, że regresja logistyczna może działać tylko z niewielką liczbą funkcji.
Więc biorąc pod uwagę, że mam wiele funkcji, którego algorytmu powinienem użyć, aby uzyskać lepszy wynik klasyfikacji?
Moim celem jest zwiększenie wskaźnika ROC-AUC dla tego zadania klasyfikacyjnego.
Czy lepiej jest używać SVM czy sieci neuronowych?
Odpowiedzi
Pierwszą rzeczą, która przychodzi mi do głowy, jest robienie różnych kodowań. Istnieje kilka sposobów radzenia sobie z danymi kategorycznymi o wysokiej liczności, takimi jak: Kodowanie etykiet lub słynne kodowanie docelowe . Przede wszystkim zalecam zmianę typu kodowania.
Ale skoro twoje pytanie o to, którego predyktora użyć z małymi i przestrzennymi danymi. Będę nadal zajmował się regresją logistyczną, drzewem decyzyjnym lub SVM. Gdy dane są małe, wszystkie algorytmy działają dość podobnie.
Rzeczy takie jak Random Forest mogą działać dobrze, ponieważ wykonują ładowanie, co jest sposobem na próbkowanie danych z wymianą.