'Ukuran' intersep pada regresi linier
Saya punya pertanyaan tentang tabel ini.
Mengapa konstanta (intersep) berubah secara dramatis dari Model 1 ke Model 2?
Jawaban
Koefisien setiap prediktor hampir selalu berubah saat Anda menambahkan lebih banyak prediktor. Ini adalah contoh jawaban yang berubah ketika Anda mengajukan pertanyaan yang berbeda.
Perangkat lunak Anda harus memungkinkan Anda menyesuaikan regresi tanpa prediktor sama sekali. Misalnya, jika saya mencoba memprediksi bobot orang dengan regresi tanpa prediktor, maka saya akan mendapatkan bobot rata-rata sebagai prediksi. Itu akan ditampilkan sebagai intersep atau konstanta.
Jika saya kemudian menambahkan ketinggian sebagai prediktor, intersep $b_0$ di
berat yang diprediksi $= b_0 + b_1$ tinggi
adalah prediksi untuk seseorang hipotetis dengan tinggi nol. (Bayangkan menancapkan ketinggian$= 0$; lalu istilah dengan koefisien$b_1$ lenyap.) intersep yang dilaporkan $b_0$ dalam hal ini akan berada jauh di luar data dan bahkan dapat dikembalikan sebagai angka negatif.
Jika saya menambahkan indikator katakan 1 jika pria dan 0 jika wanita, maka modelnya sekarang
berat yang diprediksi $= b_0 + b_1$ tinggi $+\ b_2$ pria
intersep sekarang adalah prediksi untuk seseorang hipotetis dengan tinggi nol dan siapa perempuan (untuk siapa laki-laki $= 0$). Itu akan berbeda lagi, tapi tidak terlalu banyak.
Secara umum dalam
$\hat y = b_0 + b_1 x_1 + \cdots + b_J x_J = b_0 + \sum_{j=1}^J x_j$
intersep tersebut $b_0$adalah apa yang diprediksi kapan semua ini$x_j$ (jadi semuanya $x_1$ untuk $x_J$) adalah nol. Intersep mungkin, dalam praktiknya, nilai yang tidak masuk akal atau tidak mungkin tetapi itu tidak membuat perbedaan pada prinsip. Jadi, sebagai kumpulan$x_j$s berubah, begitu juga intersep.
Nick Cox memberikan tanggapan yang sangat baik dan saya ingin menambahkan jawaban yang lebih intuitif.
Model 1
Model 1 menyelidiki hubungan antara IQ dan ukuran otak di antara subjek yang diwakili oleh subjek dalam penelitian, terlepas dari Jenis Kelamin , Tinggi dan Berat Subjek tersebut .
Dengan kata lain, jika Anda membayangkan populasi target subjek dari mana subjek dalam penelitian dipilih, populasi tersebut mencakup campuran subjek - beberapa mungkin wanita, beberapa mungkin pria, beberapa mungkin memiliki tinggi 5 kaki 9 inci. , beberapa mungkin memiliki tinggi 5 kaki 5 inci, dll., beberapa mungkin memiliki berat 160 lbs, beberapa mungkin memiliki berat 120 lbs, dll. Model 1 mengambil semua subjek ini dan mempelajari hubungan antara IQ dan Otak mereka ukuran mengabaikan (atau tidak memperhitungkan) Jenis Kelamin , Tinggi dan Berat . Dengan kata lain, Model 1 menggabungkan semua mata pelajaran ini bersama-sama dan kemudian mempelajari hubungan minat untuk mata pelajaran campuran.
Model 2
Model 2 menyelidiki hubungan antara IQ dan ukuran Otak di antara subjek yang diwakili oleh salah satu subjek dalam penelitian yang memiliki: Jenis kelamin yang sama, Tinggi dan Berat yang sama .
Misalnya, Model 2 menyelidiki hubungan antara IQ dan ukuran otak di antara:
- laki-laki dengan tinggi 5 kaki 9 inci dan berat 160 pon;
- betina dengan tinggi 5 kaki 5 inci dan berat 120 pon, dll.
Model 2 membuat asumsi bahwa hubungan antara IQ dan ukuran Otak adalah sama untuk semua subkumpulan populasi ini yang ditentukan oleh kombinasi nilai Jenis Kelamin , Tinggi dan Berat yang didukung oleh nilai yang ada di data Anda. Hubungan ini disebut hubungan yang disesuaikan , karena disesuaikan dengan Jenis Kelamin , Tinggi dan Berat . Sebaliknya, hubungan antara IQ dan ukuran Otak yang diselidiki melalui Model 1 adalah hubungan yang tidak disesuaikan.
Model 2 adalah selektif tentang subjek mana yang dipertimbangkan - daripada menggabungkan semua subjek menjadi satu, model ini berfokus pada subkumpulan subjek dalam populasi target yang memiliki Jenis Kelamin yang sama, Tinggi dan Berat yang sama .
Intercept Interpretation dalam Model 1
Untuk Model 1 , intersep (benar) mewakili nilai rata-rata IQ dalam populasi target untuk subjek yang ukuran otaknya sama dengan 0. Jelasnya, subjek seperti itu tidak ada - jika ada, mereka tidak akan punya otak.
Intercept Interpretation dalam Model 2
Untuk Model 2 , intersep (benar) mewakili nilai rata-rata IQ dalam populasi target untuk subjek yang ukuran Otaknya sama dengan 0, Jenis kelamin sama dengan pria, Tinggi sama dengan 0 inci dan Berat sama dengan 0 lbs . Sekali lagi, subjek seperti itu tidak ada.
Tak satu pun dari dua penyadapan memiliki interpretasi yang realistis. Jika Anda memusatkan perhatian pada variabel Ukuran otak di Model 1 dan variabel Ukuran otak , Tinggi dan Berat di Model 2 , Anda akan mendapatkan intersep dengan interpretasi yang lebih realistis dari model yang dipasang ulang. Perhatikan, bagaimanapun, bahwa koefisien kemiringan dalam dua model regresi yang Anda miliki di sini dapat diinterpretasikan bahkan jika intersep tidak memiliki interpretasi yang berarti dalam praktiknya.
Intercept Interpretation dalam Model 1 setelah ukuran otak Mean-Centering
Untuk Model 1 yang direvisi , intersep (benar) mewakili nilai rata-rata IQ dalam populasi target untuk subjek dengan ukuran otak rata-rata .
Intercept Interpretation dalam Model 2 setelah Mean-Centering Brain size, Height and Weight
Untuk Model 2 yang direvisi , intersep (benar) mewakili nilai rata-rata IQ dalam populasi sasaran untuk subjek laki-laki dengan ukuran Otak rata-rata , Tinggi Badan rata-rata dan Berat Badan rata-rata .