데이터 세트의 예측력
저는 학부생을위한 기계 학습에 관한 책을 읽고 있습니다. 나는 실제로 선형 회귀 유연성에 대해 다음과 같이 혼란스러워합니다.
경우에 따라 선형 회귀가 데이터 세트에 대한 좋은 솔루션을 복구하지 못합니다. 이는 데이터에 실제로 예측력이 없기 때문일 수 있지만 데이터가 선형 회귀에 적합하지 않은 형식으로 제공되었음을 나타낼 수도 있습니다.
여기에서 예측력과 관련된 몇 가지 질문을 읽은 결과 생성 된 모델에 대한 모든 것이 있음을 알았습니다. 데이터 세트의 예측력에 대해 이야기 할 때 의미하는 것은 무엇입니까?
기능간에 관계가 없다고 생각합니다 (선형 회귀는 입력 간의 관계를 배우기위한 것이므로 $X$ 및 출력 $Y$). 그러나 나는이 대답을 아직 확신하지 못합니다.
답변
일반적으로 예측력은 데이터가 아닌 모델을 나타냅니다. 나는 때때로 당신의 책의 저자가 그것을 사용하는 방식으로 그것을 사용하는 것을 본 적이 있습니다 ( 예를 들어 이것을 보십시오 ).
책의 맥락에서 예, 예측력은 입력이 목표 출력에 매핑 될 수 있는지 여부를 나타냅니다. $X\rightarrow Y$. 모델링을 시도하여 데이터 세트의 "예측력"을 추론 할 수 있습니다 (예 : 선형 회귀). 모델의 성능이 좋지 않은 경우 책에 나와있는 것처럼 데이터 세트가 예측 적이 지 않거나 (즉, 입력에서 대상 출력으로의 명확한 매핑을 제공하지 않음) 사용중인 방법이 매핑을 모델링하는 데 적합하지 않은 두 가지 가능성이 있습니다.
두 상황의 몇 가지 예 :
다음에 대한 임의 데이터를 생성 한 경우 $X$ 과 $Y$, 결과 데이터 세트는 (아마도) 어떤 모델도 매핑을 합리적으로 일반화 할 수 없으므로 예측력이 없습니다. $X\rightarrow Y$.
비선형 매핑이 있으면 선형 회귀가 적합하지 않습니다. 예를 들어 데이터 세트가$y_1$ 에 의해 매핑 됨 $||\vec{x}||<\alpha $ 다른 모든 입력은 $y_2$이면 데이터 세트가 매우 예측 가능하지만 선형 회귀 모델이 적합하지 않습니다 (매핑이 비선형이므로). 이 장난감 예제에서는 데이터 세트의 예측력을 쉽게 확인할 수 있습니다. 특히 입력이 2D / 3D 인 경우에는 플로팅 만 할 수 있기 때문에 더욱 그렇습니다. 그러나 실제 데이터를 사용하여 고차원 공간에서 이러한 추세를 수동으로 관찰하는 것은 매우 어려울 수 있으므로 데이터 해석에 도움이되는 도구를 사용합니다. 또한 비선형 성이있는 경우 데이터 세트 자체를 통계적으로 평가하기가 어렵습니다. 선형 관계를 가진 변수는 상관 관계가 간단하지만 (예 : Pearson의 상관 계수) 비선형 성은 상관 관계를 어렵게 만들 수 있습니다. 나는 이것이 당신의 책이 아마도 현학적 인 목적이 아니라 교육적인 목적을위한 것이므로 모호한 용어를 사용하는 이유라고 생각합니다. 아무튼,비선형 상관 관계를 정량화하기위한 지속적인 연구를 논의 할 필요없이 요점을 파악합니다.
데이터 세트의 예측력에 대해 묻는 것보다 모델의 예측력에 대해 묻는 것이 직관적이라고 생각합니다. 내 추론은 다음과 같습니다.
데이터 세트는 일 변량, 이변 량 또는 다변량 유형일 수 있습니다. 데이터 세트는 숫자 특성이나 범주 특성 또는 둘 다를 포함 할 수 있습니다. 음으로 치우친 분포가있는 일 변량 데이터 세트가 있다고 가정합니다. 이러한 경우 평균, 중앙값은 최빈값보다 작습니다. 이제이 일 변량 데이터 세트가 연속 데이터 유형으로 구성되어 있다고 가정합니다. 분포가 음으로 치우쳐 있다는 것을 알면 분석가에게 대칭 또는 분포에 대한 단서를 이미 제공했습니다. 따라서 분석가로서이 간단한 소개를 바탕으로이 데이터 세트를 사용하여 구축 한 데이터 세트 또는 모델의 예측 능력을 알고 싶은데 논의 할 가치가있는 질문입니까?
1,2,3과 같은 모델의 예측력을 논의한 문헌에서 여러 연구가있었습니다 ( 참고 자료 참조 ). 반대로 데이터 세트의 예측력에 대해 논의한 연구는 없습니다. 아마도 미래의 연구 방향 일 것입니다.
그러나 상관 계수와 다소 유사한 개념 인에 대해 논의한 R- 블로거 에 게시 된 기사를 찾았습니다 predictive power score.
그리고 마지막으로 mapping. 더 나은 용어는 적어도 두 변수 X와 Y 사이의 관계를 정량화하는 "상관"일 수 있다고 생각합니다.
노트
비슷한 질문이 stats.stackexchange.com 에서 요청되었습니다 . 그것에 대한 의견은 데이터 세트 의 예측 능력 과 같은 것이 없다는 초기 의심과 일치합니다 .
참고 문헌
- 이태환 (2014). 리샘플링 방법은 클래스 불균형 데이터 세트에서 모델링의 예측력을 향상시킵니다. 국제 환경 연구 및 공중 보건 저널, 11 (9), 9776-9789.
- López‐López, JA, Marín‐Martínez, F., Sánchez‐Meca, J., Van den Noortgate, W., & Viechtbauer, W. (2014). 혼합 효과 메타 회귀에서 모델의 예측력 추정 : 시뮬레이션 연구. British Journal of Mathematical and Statistical Psychology, 67 (1), 30-48.
- 뉴슨, RB (2010). Harrell의 C 또는 Somers의 D를 사용하여 생존 모델의 예측력 비교. The Stata Journal, 10 (3), 339-358.