선형 모델 (예 : 로지스틱 회귀)을 사용하여 비선형 모델 (예 : 랜덤 포레스트)에 대한 새 기능을 생성하는 것이 좋은 생각입니까? [복제]

Question

설정은 2- 클래스 분류 문제입니다. 우리는 너무 많은 기능을 가지고 있으며, 그중 일부는 그다지 유익하지 않고 0이 많습니다. 우리는 최고의 기능을 선택하는 방법을 생각하고 있으며 PCA (전체 데이터 세트 또는 관련 기능 그룹에서)는 대안 중 하나입니다. 하지만 내재적 분산뿐만 아니라 대상과의 관계도 고려하는 특성의 선형 조합을 생성하는 또 다른 방법이 있는지 생각했습니다. 존재한다면 타겟 PCA처럼.

그리고이 아이디어의 근사치는 내가 주요 질문에서 묻는 것일 수 있습니다. 로지스틱 회귀 또는 SVM과 같은 선형 분류기를 사용하여 정보 이득을 최적화하는 기능의 선형 조합을 생성하는 것이 좋은 생각일까요? 대상에 대한 존중? 변수의 하위 집합이 주어 졌을 때 하이퍼 플레인이 클래스를 잘 분리 할 수 ​​있다면, 기능으로 간주되는 하이퍼 플레인의 방정식이 개별 기능보다 예측력이 더 높으므로 대체 할 수 있습니다. 새 기능 그룹을 사용하고 생성 된 모든 기능을 마지막 모델 (임의 포리스트)에 입력으로 제공합니다.

편집 : 누군가가 제안한 이것과 매우 유사한 질문이 있습니다.

비 수직 초평면 결정 트리

제가 생각했던 것과 밀접한 관련이 있습니다. 모두 감사합니다 !!

Answer 1

1. PLS (Partial Least Squares)는 "target-PCA"라고 부르는 것 같습니다. 원래 이것은 회귀 용이지만 분류 용 버전이 있습니다.

2. 여기서 제안하는 한 가지 문제는 나중에 분류기의 품질을 평가하기 위해 교차 검증과 같은 것을 사용할 때주의해야한다는 것입니다. 전체 데이터 세트를 기능 생성에 사용하는 경우 나중에 랜덤 포레스트의 교차 검증을 수행하기 때문입니다. 오해의 소지가 있습니다. (이는 전체 프로세스를 교차 검증하는 것으로 처리 할 수 ​​있지만 더 어렵고 계산적으로 더 번거 롭습니다.)

3. 전체 정보에서 랜덤 포레스트 이전의 정보 축소가 랜덤 포레스트보다 낫다면 놀랄 것입니다. 이런 작업이 랜덤 포레스트에 어떻게 든 도움이 될 가능성이 있음을 시사하는 결과는 없습니다. 귀하의 상황에서 제외 할 수 없습니다 (충분한 데이터가 있다면 일부를 남겨두고 비교할 수 있습니다).

4. 또 다른 문제는 로지스틱 회귀 또는 SVD가 자체 분류 방식을 최적화하기 위해 특성을 생성한다는 것입니다. 이러한 특성을 다른 작업을 수행하도록 설정된 다른 방법과 함께 사용하는 것이 더 나은 이유는 무엇입니까?