R2 pada kumpulan data sampel keluar

Question

Definisi konvensional dari $R^2$ aku s: $R^2 = 1-SSE/SST$, di mana SSE menunjukkan jumlah kesalahan kuadrat dan SST adalah jumlah total kuadrat ($n\times variance$, n adalah jumlah titik sampel di set kereta).

Namun, saya ingin melihat kesesuaian model saya pada set di luar sampel (set pengujian) atau gabungan set latihan dan pengujian. Apakah boleh menggunakan definisi yang sama dari$R^2$dengan mengambil SSE dan SST secara tepat di atas set tes atau set (train + test), masing-masing? Misalnya. Saya melatih model saya$n$titik sampel. Saya ingin memeriksa kinerjanya di ($n+p$) poin ($p$menjadi beberapa contoh baru dari set kereta). Bisa saya gunakan$R^2 = 1-(SSE$ pada (n + p) poin$)/(SST$ pada (n + p) poin$)$?

Answer 1

Masuk akal. Namun lebih umum untuk memisahkan set pelatihan dan pengujian. Sehingga Anda melatih model Anda di set kereta, dan kemudian memprediksi hanya di set pengujian. Dari sana Anda dapat menghitung kesalahan prediksi, dan a$R^2_{pred}$jika kamu suka. (berlatih$n$ poin data, evaluasi terus $p$ poin data, dalam istilah Anda.)

Anda juga dapat mencari hal-hal seperti statistik PRESS, dan metode validasi silang lainnya.

Answer 2

Masuk akal untuk diterapkan $R^2= 1-{\sum(y_i-\hat y_i)^2}/{\sum(y_i-\bar y)^2}$untuk menguji set secara langsung. Ini adalah ukuran ukuran residu kuadrat dibandingkan dengan varians nilai sebenarnya.

Alternatifnya, jika Anda mengadopsi gagasan penyimpangan (lihat jawaban ini ), Anda dapat menggunakan model null dari data pelatihan sebagai gantinya:

$$\tilde R^2= 1-\frac{\sum(y_i-\hat y_i)^2}{\sum(y_i-\bar y_{train})^2}$$

Saya telah melihat keduanya digunakan, dan keduanya bisa dibenarkan.