Ordinale Feature-Codierung (linear oder nichtlinear?)

Question

In den meisten Ordnungsmerkmalen scheint die Skalierung linear zu sein. ZB [1, 2, 3, 4]mit einer höheren Punktzahl, die einen größeren Effekt auf die Zielvariablen darstellt

Aber ist es möglich, das Feature nichtlinear zu codieren? wie [1, 2, 4, 8]. Was sind die möglichen Auswirkungen auf das Modell des maschinellen Lernens, wie z. B. neuronales Netzwerk und zufällige Gesamtstruktur?

Answer 1

Da die nichtlineare Transformation invertierbar ist, hat sie keine sichtbaren Auswirkungen auf die zufällige Gesamtstruktur, da intern trainierte Entscheidungsbäume Split-Punkte für diese Features finden. Wenn beispielsweise bei Originalmerkmalen der beste Teilungspunkt (z. B. in Bezug auf Entropie oder Gini-Maß) zwischen 2-3 liegt, liegt er nach der Transformation zwischen 2-4.

Bei neuronalen Netzen ändert sich der Maßstab des Merkmals. Dies kann die Gradientenabstiegsleistung beeinträchtigen, wenn die Skala zu hoch wird. Zum Beispiel die Transformation$100^x$Selbst nach der Standardisierung von Features werden Datenpunkte erstellt, die wie Ausreißer erscheinen.