아웃 샘플 데이터 세트의 R2

Question

기존의 정의 $R^2$ is : $R^2 = 1-SSE/SST$, 여기서 SSE는 제곱 오차의 합을 나타내고 SST는 총 제곱합 ($n\times variance$, n은 열차 세트의 샘플 포인트 수).

그러나 샘플 외 세트 (테스트 세트) 또는 훈련 세트와 테스트 세트를 결합한 모델의 적합성을 확인하고 싶습니다. 같은 정의를 사용해도 괜찮습니까?$R^2$SSE와 SST를 각각 테스트 세트 또는 (train + test) 세트보다 적절하게 취함으로써? 예 : 나는 내 모델을 훈련$n$샘플 포인트. 성능을 확인하고 싶습니다.$n+p$) 포인트들 ($p$기차 세트의 새로운 샘플 포인트). 사용해도 되나요$R^2 = 1-(SSE$ (n + p) 포인트$)/(SST$ (n + p) 포인트$)$?

Answer 1

말이 되는군요. 그러나 훈련 세트와 테스트 세트를 분리하는 것이 더 일반적입니다. 따라서 기차 세트에서 모델을 훈련 한 다음 테스트 세트에서만 예측할 수 있습니다. 거기에서 예측 오류를 계산할 수 있으며$R^2_{pred}$당신이 원한다면. (훈련하다$n$ 데이터 포인트, 평가 $p$ 귀하의 관점에서 데이터 포인트.)

PRESS 통계 및 기타 교차 검증 방법과 같은 항목을 조회 할 수도 있습니다.

Answer 2

적용하는 것이 합리적입니다. $R^2= 1-{\sum(y_i-\hat y_i)^2}/{\sum(y_i-\bar y)^2}$직접 테스트 세트. 실제 값의 분산과 비교하여 제곱 잔차의 크기를 측정 한 것입니다.

또는 이탈의 개념을 채택하는 경우 (이 답변 참조 ) 대신 학습 데이터의 null 모델을 사용할 수 있습니다.

$$\tilde R^2= 1-\frac{\sum(y_i-\hat y_i)^2}{\sum(y_i-\bar y_{train})^2}$$

나는 둘 다 사용하는 것을 보았고 둘 다 정당화 될 수 있습니다.