事後平均は、常に最尤推定値と前の平均の加重和として表すことができますか？

Question

この質問を参照してください。
これは常に本当ですか？事後平均は、最尤推定値と事前平均（適切な事前を選択した後）の加重和として常に表すことができますか？

Answer 1

（パラメータ）次元1では、 $$\mathbb E[\theta | x_1,\ldots,x_n]= \dfrac{\mathbb E[\theta | x_1,\ldots,x_n]}{\hat{\theta}(x_1,\ldots,x_n)+\mathbb E[\theta]}\hat{\theta}(x_1,\ldots,x_n)+\dfrac{\mathbb E[\theta | x_1,\ldots,x_n]}{\hat{\theta}(x_1,\ldots,x_n)+\mathbb E[\theta]}\mathbb E[\theta]$$ 正式には常に可能です。

引用すると、以前の回答に私の以前の質問、

いつ $\theta$ 次元1であり、いつでも書くことが可能です $$\mathbb E[\theta|\mathbf x] = w(\mathbf x) \mathbb E[\theta] + (1-w(\mathbf x)) \hat\theta(\mathbf x)$$ で解くことによって $w(x)$ しかし（i）理由はありません $0\le w(x)\le 1$ （ii）この表現は、次のように大きな次元に拡張されません。 $w(\mathbf x)$ コンポーネントごとに異なります。

                                             

指数型分布族の場合、自然統計量の平均の事後期待値が事前期待値と最尤推定値の凸結合であるというのは、一般的な特性です（Diaconis and Ylvisaker、1979、および上記の私の学部課程のスライドを参照）。（あなたが参照する質問は特別な場合です。）ただし、これは変換の事後平均に転送されないことに注意してください。$\phi(\theta)$ 平均パラメータの $\nabla\psi(\theta)$変換の期待値は期待値の変換ではないため（私の学部課程の別のスライドです！）、変換の最尤推定値は最尤推定値の変換です。

Diaconis and Ylvisaker、1979は、実際には上記の結果の逆数を示しています。つまり、事後期待値が$\nabla\psi(\theta)$は、固定された重みを持つ自然な十分統計量で線形であるため、事前統計量は必然的に共役です。

一般的な設定では、事後平均が前の平均と最尤法の「間に」位置する理由はありません。次のような状況を考えてみましょう

1. 尤度はマルチモーダルであり、最尤推定（つまり、最尤推定）を使用します $\hat\theta_1$）非常に狭く、別のローカルモードを使用する $\hat\theta_2$ かなり普及している
2. 事前分布はマルチモーダルであり、事前平均は尤度が本質的にゼロであるモーダル領域に位置し、2番目のモーダル領域は $A_2$ 2番目の尤度モードをカバーする $\hat\theta_2$

その後、後部平均は近くに配置できます $\hat\theta_2$、以前の平均と最尤推定の両方から離れて $\hat\theta_1$。