対数オッズが線形関数としてモデル化されるのはなぜですか？
私はすでに答えを持っていると思いますが、私はここで何も見逃していないことを確認したいと思います。この種の質問も同じですが、再確認したいと思います。
ロジスティック回帰は、一般化線形モデルを介して動機付けできます。
GLMは、本質的に、変換された（いわば「リンクされた」）期待値をモデル化すると述べています。 $\mu$ 変数の $Y$与えられた共変量/特徴を線形関数として。リンク関数を呼び出しましょう$g()$。古典的な線形回帰モデルの場合、この関数は単に恒等関数になります。場合$Y$ がバイナリの場合、期待値は次のようになります。 $p = P(Y = 1)$。ロジスティック回帰モデルでは、対数オッズを線形関数としてモデル化します。
$$ \log\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1x_1 + \dots + \beta_Kx_K$$
したがって、対数オッズは線形関数によって適切に記述されていると想定されます。ただし、ロジット関数は明らかに線形関数ではありません。それでも、確率範囲を次のように切り捨てると、線形関数で合理的に近似されます。$0.05 < p < 0.95$。
質問：確率が小さい場合と大きい場合で非線形であるのに、なぜ対数オッズを線形関数としてモデル化するのですか？
私の答えは、期待値に関心があるので、推定しようとしている関連する確率の範囲にこれらの「極端な」確率が含まれていないと仮定する（！）ということです。したがって、本質的には、非線形性を単に無視します。
正しい？
回答
コメントが答えに変わりました：
あなたは2つのことを混乱させているようです：（1）「ロジット」が非線形である $p$（2）pのロジットが共変量で線形であると仮定します。確率自体が共変量に線形従属する必要があると何らかの理由で信じない限り、最初の点は2番目の点とは関係ありません。これは、pが[0,1]に留まらなければならないことを考えると、おそらくさらにばかげています。
ロジスティック回帰が理にかなっている理由を理解する最良の方法は、確率をモデル化することです。 $p$ の関数として $x = (x_1\dots,x_{K})$。値を次のように制限する何らかの変換が必要であることにすぐに気付きます。$[0,1]$ そしていくつかの考えは次のようなモデルにつながるかもしれません $$ p = \phi(\beta^T x) $$ どこ $\phi(\cdot)$ からの関数です $\mathbb R$ に $[0,1]$。一例は$\phi = \text{logit}^{-1}$これはロジスティック回帰につながります。別の例は$\phi = $ プロビット回帰につながる標準正規分布のCDFなど。
仮定することで、いつでもモデルをより複雑にすることができます $p = \phi( P_\beta(x))$ どこ $P_\beta(x)$ の多項式です $x$ 1より高い次数の。
ロジットの場合も次のように解釈されます。バイナリ観測を $Y$ 密度（すなわち、PMF） $p(y) = p^{y} (1-p)^{1-y}$ ために $y \in \{0,1\}$。これは指数型分布族です$$ p(y) = \exp( y \theta - \log(1 +e^{\theta})) $$ 正規/自然パラメータ付き $\theta = \log\frac{p}{1-p}$。ロジスティック回帰は、この正規パラメーターが共変量で線形であると想定しています。
上記のポイント1と同様の考慮事項は、次の値をとるパラメーターのモデリングになります。 $[0,\infty)$ 料金など $\lambda$。そして、再び、自然な最初のモデルは$\lambda = \phi(\beta^T x)$ どこ $\phi(\cdot)$ マップ $\mathbb R$ に $[0,\infty)$ と自然な選択 $\phi$ です $\phi(x) = e^x$。