EM-Algorithmus für die bipolare Normalverteilung

Question

Frage: Lassen Sie$x_1, \dots, x_m$ sei eine iid-Probe aus einer normalen Dichte mit Mittelwert $\mu$ und Varianz $\sigma^2$. Angenommen, für jeden$x_i$ Wir beobachten $y_i = |x_i|$. Formulieren Sie einen EM-Algorithmus zur Schätzung$\mu$ und $\sigma^2$.

Meine Lösung:

Definieren Sie eine latente Variable $Z$, wann $z_i = 1, x_i = y_i$ und $z_i = 0, x_i = -y_i$ und die Wahrscheinlichkeit $p(z_i = 1| \Theta, y_i) = p$. Es kann leicht erkannt werden, dass$-x_i \sim \mathcal{N}(-\mu, \sigma^2)$.

$$ \begin{equation} \begin{aligned} l(\mathbf{x}, \mathbf{z}, p, \Theta) = \sum_{i = 1}^m z_i\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i - \mu)^2 + \ln p\right]\\ + \sum_{i = 1}^m (1 - z_i)\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i + \mu)^2 + \ln (1-p)\right], \end{aligned} \end{equation}$$

Der E-Schritt im EM-Algorithmus ist:$E_{\Theta_{n}}[l(\mathbf{x}, \mathbf{z}, p, \Theta) | \mathbf{y}]$.

Meine Frage:

1. Es scheint, dass einige Probleme in meinem Modell seit zwei latenten Variablen auftreten $z_i, p$ und unbekannt $x_i$am E-Schritt beteiligt. Kann mir jemand sagen, wo der Fehler ist?

2. Ich sehe die Antwort für die Aktualisierung der $\mu$ beinhaltet $f(y_i | \Theta_n)$, aber ehrlich gesagt, aus dem E-Schritt: $E[x_iz_i | \Theta_n, y_i]$, gäbe es keine $f_i$beteiligt. Wie kommt es also zur Formel?

Danke im Voraus!

---

Die Wahrscheinlichkeitsfunktion kann weiter ausgedrückt werden als: \ begin {Gleichung}\begin{aligned} Q(\Theta, \Theta_{n}) = & E_{\Theta_{n}}[l(\mathbf{x}, \mathbf{z}, \Theta) | \mathbf{y}]\\ = & \sum_{i = 1}^m\left( -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 - \frac{E_{\Theta_{n}}[x_i^2|y_i]}{2\sigma^2} - \frac{\mu^2}{2\sigma^2} - \frac{1-2\mu E_{\Theta_{n}}[x_iz_i|y_i]}{\sigma^2}\right) \end{aligned} \ end {Gleichung}

Die Erwartung von $E[x_iz_i | \Theta_n, y_i]$ $$ \begin{equation} \begin{aligned} E[x z | \Theta_n, y] = & \int \sum_l xz_lp(x_k,z_l | \Theta_n, y) dx\\ = &\int xp(x_k,z = 1 | \Theta_n, y)dx\quad \text{only z = 1 left}\\ = & p(z = 1 | \Theta_n, y)\int x f(x | z = 1, \Theta_n, y)dx\\ = & \frac{f(y_i|\theta_n)}{f(y_i|\theta_n) + f(-y_i|\theta_n)} \mu_n \end{aligned} \end{equation}$$::

Aber immer noch stecken.

Answer 1

1. Es gibt keine Wahrscheinlichkeit $p$ in diesem Problem als $$\mathbb P_\theta(Z_i=1)=\mathbb P_\theta(X_i>0)=1-\Phi(\mu/\sigma)$$
2. Es gibt nur einen Typ latenter Variablen:$\mathbf Z$, schon seit $\mathbf X$ ist eine deterministische Funktion von $\mathbf Y$ und $\mathbf Z$, wie unten diskutiert.
3. Die vollständige Wahrscheinlichkeit kann somit ausgedrückt werden in Form von $\mathbf Y$ und $\mathbf Z$ nur

Wenn $X\sim\mathcal N(\mu,\sigma^2)$, dann $Y=|X|$ hat eine Dirac-Massenverteilung bei $|X|$ bedingt durch $X$. Die marginale Verteilung von$Y$ ist das gefaltete Normal mit Dichte $$\sigma^{-1}\varphi(y;\mu,\sigma)+\sigma^{-1}\varphi(-y;\mu,\sigma)$$ Umgekehrt ist die Verteilung von $X$ bedingt durch $Y$ ist eine Summe von Dirac-Massen bei $Y$ und $-Y$ mit entsprechenden Massen proportional zu $\varphi(y;\mu,\sigma)$ und $\varphi(-y;\mu,\sigma)$. Beachten Sie, dass$$Z=\mathbb I_{X=|Y|}$$ ist eine deterministische Transformation von $(X,Y)$daher das $Z$ ist bekannt gegeben $(X,Y)$ und das $X$ ist bekannt gegeben $(Z,Y)$. Dies impliziert das$$\mathbb E_{\theta_{n}}[l(\mathbf{X}, \mathbf{Z}, \theta) | \mathbf{y}] =\mathbb E_{\theta_{n}}[l(\mathbf{X(Z,Y)}, \mathbf{Z}, \theta) | \mathbf{y}] $$und seit \ begin {Gleichung}\begin{aligned} l(\mathbf{x}, \mathbf{z}, p, \Theta) &= \sum_{i = 1}^m \mathbb I_{z_i=1}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i(1,y_i) - \mu)^2 \right]\\ &\quad + \sum_{i = 1}^m \mathbb I_{z_i=0}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i(0,y_i) - \mu)^2 \right],\\ &= \sum_{i = 1}^m \mathbb I_{z_i=1}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(y_i - \mu)^2 \right]\\ &\quad + \sum_{i = 1}^m \mathbb I_{z_i=0}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(-y_i - \mu)^2 \right], \end{aligned}\ end {Gleichung} Der E-Schritt schreibt als \ begin {Gleichung}\begin{aligned} \mathbb E_{\theta_n}[l(X,Z,\theta)|y) &= -\frac{m}{2}\ln 2\pi - \frac{m}{2}\ln \sigma^2- \frac{1}{2\sigma^2}\sum_{i = 1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=1}|y] (y_i - \mu)^2 \\ &\quad -\frac{1}{2\sigma^2} \sum_{i=1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=0}|y] (y_i + \mu)^2 \end{aligned}\ end {Gleichung} Dies impliziert das$\mu_{n+1}$ denn der M-Schritt ist die Lösung der Gleichung $$\sum_{i = 1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=1}|y] (\mu-y_i) +\sum_{i=1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=0}|y] (y_i + \mu) = 0$$