Mengapa peluang log dimodelkan sebagai fungsi linier?

Question

Saya rasa saya sudah memiliki jawabannya, namun, saya ingin mendapatkan konfirmasi bahwa saya tidak melewatkan apa pun di sini. Ini semacam meminta hal yang sama, tapi saya ingin melipatgandakan-cek.

---

Regresi logistik dapat dimotivasi melalui model linier umum .

GLM, pada intinya, mengatakan bahwa kami memodelkan nilai yang diharapkan yang telah diubah ("dihubungkan" begitu saja) $\mu$ variabel $Y$diberikan kovariat / fitur sebagai fungsi linier. Mari kita panggil fungsi tautan$g()$. Dalam kasus model regresi linier klasik, fungsi ini hanya akan menjadi fungsi identitas. Jika$Y$ adalah biner, nilai yang diharapkan sama dengan $p = P(Y = 1)$. Dalam model regresi logistik, kami memodelkan log-odds sebagai fungsi linier:

$$ \log\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1x_1 + \dots + \beta_Kx_K$$

Jadi asumsinya adalah bahwa log-odds cukup dijelaskan dengan fungsi linier. Fungsi logit, bagaimanapun, jelas bukanlah fungsi linier . Namun, itu cukup didekati oleh fungsi linier jika kita memotong rentang probabilitas menjadi sesuatu seperti$0.05 < p < 0.95$.

Pertanyaan: mengapa kita memodelkan log-odds sebagai fungsi linier jika nonlinear untuk probabilitas kecil dan besar?

Jawaban saya adalah karena kami tertarik pada nilai yang diharapkan, kami berasumsi (!) Bahwa kisaran probabilitas yang relevan yang kami coba perkirakan tidak mengandung probabilitas "ekstrim" ini. Oleh karena itu, pada intinya, kita mengabaikan nonlinearitas.

Benar?

Answer 1

Sebuah komentar berubah menjadi jawaban:

Anda tampaknya bingung tentang dua hal: (1) "logit" menjadi nonlinear in $p$(2) mengasumsikan bahwa logit dari p linear dalam kovariat. Poin pertama tidak ada hubungannya dengan poin kedua kecuali Anda yakin bahwa probabilitasnya sendiri harus bergantung secara linier pada kovariat, yang mungkin bahkan lebih tidak masuk akal mengingat p harus tetap dalam [0,1].

• Cara terbaik untuk melihat mengapa regresi logistik masuk akal adalah dengan mencoba membuat model probabilitas $p$ sebagai fungsi dari $x = (x_1\dots,x_{K})$. Anda segera menyadari bahwa mungkin Anda memerlukan semacam transformasi yang membatasi nilai$[0,1]$ dan beberapa pemikiran mungkin mengarah pada model seperti $$ p = \phi(\beta^T x) $$ dimana $\phi(\cdot)$ adalah fungsi dari $\mathbb R$ untuk $[0,1]$. Salah satu contohnya adalah$\phi = \text{logit}^{-1}$yang mengarah pada regresi logistik. Contoh lainnya adalah$\phi = $ CDF dari distribusi normal standar yang mengarah ke regresi Probit, dan seterusnya.

• Anda selalu dapat membuat model lebih kompleks dengan mengatakan asumsi $p = \phi( P_\beta(x))$ dimana $P_\beta(x)$ adalah polinomial dalam $x$ derajat lebih tinggi dari 1.

• Kasus logit juga memiliki interpretasi berikut: Biarkan pengamatan biner $Y$ dengan kepadatan (yaitu, PMF) $p(y) = p^{y} (1-p)^{1-y}$ untuk $y \in \{0,1\}$. Ini adalah keluarga eksponensial$$ p(y) = \exp( y \theta - \log(1 +e^{\theta})) $$ dengan parameter canonical / natural $\theta = \log\frac{p}{1-p}$. Regresi logistik mengasumsikan parameter kanonik ini linier di kovariat.

• Pertimbangan serupa seperti poin 1 di atas adalah memodelkan parameter yang memperhitungkan nilai $[0,\infty)$ seperti tarif $\lambda$. Kemudian, sekali lagi, model pertama yang natural adalah$\lambda = \phi(\beta^T x)$ dimana $\phi(\cdot)$ peta $\mathbb R$ untuk $[0,\infty)$ dan pilihan alami untuk $\phi$ aku s $\phi(x) = e^x$.