Log oranlar neden doğrusal bir fonksiyon olarak modellenir?
Sanırım cevabım zaten bende, ancak burada hiçbir şeyi kaçırmadığımın onaylanmasını diliyorum. Bu aynı şeyi soruyor, ancak tekrar kontrol etmek istiyorum.
Lojistik regresyon, genelleştirilmiş doğrusal modellerle motive edilebilir .
GLM, özünde, dönüştürülmüş (tabiri caizse "bağlantılı") beklenen değeri modellediğimizi söylüyor. $\mu$ bir değişkenin $Y$doğrusal bir fonksiyon olarak verilen ortak değişkenler / özellikler. Bağlantı işlevini arayalım$g()$. Klasik doğrusal regresyon modeli durumunda, bu fonksiyon basitçe özdeşlik fonksiyonu olacaktır. Eğer$Y$ ikili, beklenen değer eşittir $p = P(Y = 1)$. Lojistik regresyon modelinde, log-olasılıkları doğrusal bir fonksiyon olarak modelliyoruz:
$$ \log\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1x_1 + \dots + \beta_Kx_K$$
Dolayısıyla varsayım, log-olasılıkların doğrusal bir fonksiyon tarafından yeterince tanımlanmasıdır. Bununla birlikte, logit işlevi açıkça doğrusal bir işlev değildir . Yine de, olasılık aralığını aşağıdaki gibi bir şeye indirirsek, doğrusal bir fonksiyonla makul olarak yaklaşık olarak tahmin edilir.$0.05 < p < 0.95$.
Soru: Küçük ve büyük olasılıklar için doğrusal olmadığında neden log-olasılıkları doğrusal bir fonksiyon olarak modelliyoruz?
Cevabım, beklenen değerle ilgilendiğimiz için, tahmin etmeye çalıştığımız ilgili olasılıklar aralığının bu "uç" olasılıkları içermediğini varsayıyoruz (!). Bu nedenle, özünde, doğrusal olmayışı basitçe görmezden geliriz.
Doğru?
Yanıtlar
Bir yorum cevaba dönüştü:
Görünüşe göre iki şeyi karıştırıyorsunuz: (1) "logit" in doğrusal olmaması $p$(2) p'nin logitinin ortak değişkenlerde doğrusal olduğunu varsayarsak. Olasılıkların kendilerinin doğrusal olarak ortak değişkenlere bağlı olması gerektiğine bir şekilde inanmadığınız sürece, birinci noktanın ikinci nokta ile bir ilgisi yoktur, ki bu, p'nin [0,1] içinde kalması gerektiğini düşünürsek belki daha da saçmadır.
Lojistik regresyonun neden mantıklı olduğunu görmenin en iyi yolu, olasılığı modellemeye çalışmaktır. $p$ bir fonksiyonu olarak $x = (x_1\dots,x_{K})$. Belki de değerleri kısıtlayan bir tür dönüşüme ihtiyacınız olduğunu çabucak anlarsınız.$[0,1]$ ve bazı düşünceler aşağıdaki gibi bir modele yol açabilir $$ p = \phi(\beta^T x) $$ nerede $\phi(\cdot)$ dan bir işlev $\mathbb R$ -e $[0,1]$. Bir örnek olacak$\phi = \text{logit}^{-1}$lojistik regresyona yol açar. Başka bir örnek$\phi = $ Probit regresyonuna yol açan standart normal dağılımın CDF'si vb.
Varsayarak modeli her zaman daha karmaşık hale getirebilirsiniz. $p = \phi( P_\beta(x))$ nerede $P_\beta(x)$ bir polinomdur $x$ 1'den yüksek derece.
Logit durumu ayrıca şu yoruma sahiptir: İkili gözlemin $Y$ yoğunluklu (yani, PMF) $p(y) = p^{y} (1-p)^{1-y}$ için $y \in \{0,1\}$. Bu üstel bir ailedir$$ p(y) = \exp( y \theta - \log(1 +e^{\theta})) $$ kanonik / doğal parametreli $\theta = \log\frac{p}{1-p}$. Lojistik regresyon, bu kanonik parametrenin ortak değişkenlerde doğrusal olduğunu varsayar.
Yukarıdaki 1. maddeye benzer bir düşünce, aşağıdaki değerleri alan bir parametrenin modellemesine gider. $[0,\infty)$ oran gibi $\lambda$. Sonra yine doğal bir ilk model$\lambda = \phi(\beta^T x)$ nerede $\phi(\cdot)$ haritalar $\mathbb R$ -e $[0,\infty)$ ve için doğal bir seçim $\phi$ dır-dir $\phi(x) = e^x$.