Est-ce une bonne idée d'utiliser un modèle linéaire (comme la régression logistique) pour générer de nouvelles fonctionnalités pour un modèle non linéaire (comme une forêt aléatoire)? [dupliquer]

Question

Le paramètre est un problème de classification à 2 classes. Nous avons trop de fonctionnalités, certaines pas très informatives et avec beaucoup de zéros. Nous réfléchissons aux moyens de sélectionner les meilleures fonctionnalités, et PCA (dans l'ensemble de données complet ou peut-être dans des groupes de fonctionnalités associées) est l'une des alternatives. Mais j'ai pensé qu'il y avait une autre façon de générer des combinaisons linéaires de caractéristiques qui prend non seulement en considération la variance intrinsèque, mais aussi la relation avec la cible. Comme une cible-PCA, si cela existait.

Et une approximation de cette idée pourrait être ce que je demande dans la question principale: Serait-ce une bonne idée d'utiliser un classificateur linéaire comme la régression logistique ou SVM pour générer des combinaisons linéaires de caractéristiques qui, d'une certaine manière, optimisent le gain d'information avec par rapport à la cible? Parce que je pense que si, étant donné un sous-ensemble de variables, un hyperplan peut donner une bonne séparation des classes, l'équation de l'hyperplan, considérée comme une caractéristique, a plus de pouvoir prédictif que n'importe laquelle des caractéristiques individuelles, alors peut-être pourriez-vous la remplacer le groupe d'entités avec le nouveau et donnez toutes ces caractéristiques générées au dernier modèle (la forêt aléatoire) comme entrées.

EDIT: Il y a une question très similaire à celle-ci, que quelqu'un a suggérée:

Arbres de décision hyperplan non perpendiculaires

C'est étroitement lié à ce que je pensais. Merci tout le monde!!

Answer 1

1. Il semble que les moindres carrés partiels (PLS) soient ce que vous appelez "cible-PCA" - à l'origine, c'est pour la régression, mais il existe des versions pour la classification.

2. Un problème avec ce que vous proposez ici est que vous devrez faire attention lorsque vous utiliserez plus tard quelque chose comme la validation croisée pour évaluer la qualité de votre classificateur, car si vous utilisez l'ensemble de données pour la génération d'entités, la validation croisée de la forêt aléatoire ultérieure sera trompeur. (Cela peut être traité avec la validation croisée de l'ensemble du processus, mais c'est plus difficile et plus lourd en termes de calcul.)

3. Je serais surpris si la réduction des informations avant la forêt aléatoire est meilleure que la forêt aléatoire sur toutes les informations - je ne connais aucun résultat qui suggérerait qu'une telle opération à l'avance aide d'une manière ou d'une autre la forêt aléatoire, bien que la possibilité qu'elle le fasse dans votre situation ne peut être exclue (si vous disposez de suffisamment de données, vous pouvez en laisser de côté et comparer).

4. Un autre problème est que la régression logistique ou SVD génère des fonctionnalités afin d'optimiser leur propre façon de classer - pourquoi serait-il préférable d'utiliser ces fonctionnalités avec une autre méthode qui a été mise en place pour faire autre chose?