ラグランジアンを介したpLSAのEMアルゴリズムにおけるEステップの導出

Aug 24 2020

ラグランジュ乗数を介して確率的潜在意味解析(pLSA)モデルのEMアルゴリズムを導出するのに問題があります。

欠測データをモデル化する $Q_{zij} \in \{0,1\}$ 言葉のために $w_j$ ドキュメント内 $d_i$、これにより、上の変分分布が生じます。 $z: q_{zij} = P(Q_{zij} = 1), \sum_z q_{zij} = 1, q_{zij} \geq 0$。次に、イェンセンの不等式を介して下限を導き出し、対数尤度の最適化に到達します。$q$ 固定用 $u_{zi}, v_{zj}$ ラグランジュ乗数を介して:

$\cal{L}(q, \lambda) = \sum_{z=1}^K q_{zij}[\log u_{zi} + \log v_{zj} - \log q_{zij}] + \lambda(\sum_{z=1}^K q_{zij} - 1)$

一次最適条件を適用します。これは、に関する偏導関数を取ります。 $q_{zij}$ 私は得る:

$\lambda + (\log u_{zi} + \log v_{zj} - \log q_{zij} -1) = 0$

これは今私に残します $K + 1$ の方程式 $K+1$ 未知数、 $\lambda$ そしてその $K$ $q_{zij}$値。しかし、実際にこれを解決する方法がわかりません。私は解決策が

$q_{zij} = \frac{v_{zi}u_{zj}}{\sum_{p=1}^K v_{pi}u_{pj}}$ これはちょうど後部です $Q_{zij}$ 拡大すれば $v$ そして $u$ それぞれのPDFに。

これを解決してEステップを適切に導出するにはどうすればよいですか?

回答

lyinch Aug 24 2020 at 18:06

私は解決策を見つけました。簡潔にするために、インデックスを削除します$i,j$。まず、分離します$q_z$、次に計算します $\lambda$ それを手に入れたら、プラグを差し込むことができます $\lambda$ 最初の方程式に戻ります。

最初のステップは隔離することです $q_z$$\lambda + \log(u_z v_z) - \log q_z -1 = 0 \iff q_z = \exp(\lambda + \log(u_z v_z) -1 ) = \exp(\lambda -1) u_z v_z $

次に、2番目の条件を使用します。 $\sum_z q_z -1 = 0$、プラグ $q_z$ で、そして分離する $\lambda$

$\sum_z \exp(\lambda -1) u_z v_z -1 = 0 \iff \exp(\lambda -1) = \frac{1}{\sum_z u_z v_z} \iff \lambda = \log \frac{1}{\sum_z u_z v_z} + 1 $

今これを使用します $\lambda$ 分離した最初の方程式に接続し直します $q_z$

$ q_z = \exp(\log \frac{1}{\sum_p u_p v_p} + 1 -1) u_z v_z = \frac{u_z v_z}{\sum_p u_p v_p}$

そしてそれが解決策です!(合計のインデックスを範囲を超えるように変更したことに注意してください$p$ と競合しないように $z$