Algoritmo EM para distribución normal bipolar

Question

Pregunta: Deja$x_1, \dots, x_m$ ser una muestra iid de una densidad normal con media $\mu$ y varianza $\sigma^2$. Suponga que para cada$x_i$ observamos $y_i = |x_i|$. Formular un algoritmo EM para estimar$\mu$ y $\sigma^2$.

Mi solución:

Definir una variable latente $Z$, cuando $z_i = 1, x_i = y_i$ y $z_i = 0, x_i = -y_i$ y la probabilidad $p(z_i = 1| \Theta, y_i) = p$. Se puede saber fácilmente que$-x_i \sim \mathcal{N}(-\mu, \sigma^2)$.

$$ \begin{equation} \begin{aligned} l(\mathbf{x}, \mathbf{z}, p, \Theta) = \sum_{i = 1}^m z_i\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i - \mu)^2 + \ln p\right]\\ + \sum_{i = 1}^m (1 - z_i)\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i + \mu)^2 + \ln (1-p)\right], \end{aligned} \end{equation}$$

El paso E en el algoritmo EM es:$E_{\Theta_{n}}[l(\mathbf{x}, \mathbf{z}, p, \Theta) | \mathbf{y}]$.

Mi pregunta:

1. Parece que suceden algunos problemas en mi modelo ya que dos variables latentes $z_i, p$ y desconocido $x_i$involucrado en el paso E. Entonces, ¿alguien podría decirme dónde está el error?

2. Veo la respuesta para actualizar el $\mu$ involucra $f(y_i | \Theta_n)$, pero honestamente hablando, desde el paso E: $E[x_iz_i | \Theta_n, y_i]$, no habría $f_i$involucrado. Entonces, ¿cómo es la fórmula?

¡Gracias por adelantado!

---

La función de verosimilitud se puede expresar además como: \ begin {ecuación}\begin{aligned} Q(\Theta, \Theta_{n}) = & E_{\Theta_{n}}[l(\mathbf{x}, \mathbf{z}, \Theta) | \mathbf{y}]\\ = & \sum_{i = 1}^m\left( -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 - \frac{E_{\Theta_{n}}[x_i^2|y_i]}{2\sigma^2} - \frac{\mu^2}{2\sigma^2} - \frac{1-2\mu E_{\Theta_{n}}[x_iz_i|y_i]}{\sigma^2}\right) \end{aligned} \ end {ecuación}

La expectativa de $E[x_iz_i | \Theta_n, y_i]$ $$ \begin{equation} \begin{aligned} E[x z | \Theta_n, y] = & \int \sum_l xz_lp(x_k,z_l | \Theta_n, y) dx\\ = &\int xp(x_k,z = 1 | \Theta_n, y)dx\quad \text{only z = 1 left}\\ = & p(z = 1 | \Theta_n, y)\int x f(x | z = 1, \Theta_n, y)dx\\ = & \frac{f(y_i|\theta_n)}{f(y_i|\theta_n) + f(-y_i|\theta_n)} \mu_n \end{aligned} \end{equation}$$:

Pero todavía atascado.

Answer 1

1. No hay probabilidad $p$ en este problema como $$\mathbb P_\theta(Z_i=1)=\mathbb P_\theta(X_i>0)=1-\Phi(\mu/\sigma)$$
2. Solo hay un tipo de variable latente,$\mathbf Z$, ya que $\mathbf X$ es una función determinista de $\mathbf Y$ y $\mathbf Z$, como se explica a continuación.
3. la probabilidad completa se puede expresar así en términos de $\mathbf Y$ y $\mathbf Z$ solamente

Si $X\sim\mathcal N(\mu,\sigma^2)$, entonces $Y=|X|$ tiene una distribución de masa de Dirac en $|X|$ condicionado a $X$. La distribución marginal de$Y$ es el Normal plegado, con densidad $$\sigma^{-1}\varphi(y;\mu,\sigma)+\sigma^{-1}\varphi(-y;\mu,\sigma)$$ Por el contrario, la distribución de $X$ condicionado a $Y$ es una suma de las masas de Dirac en $Y$ y $-Y$ con masas respectivas proporcionales a $\varphi(y;\mu,\sigma)$ y $\varphi(-y;\mu,\sigma)$. Tenga en cuenta que$$Z=\mathbb I_{X=|Y|}$$ es una transformación determinista de $(X,Y)$, de ahí que $Z$ es conocido dado $(X,Y)$ y eso $X$ es conocido dado $(Z,Y)$. Esto implica que$$\mathbb E_{\theta_{n}}[l(\mathbf{X}, \mathbf{Z}, \theta) | \mathbf{y}] =\mathbb E_{\theta_{n}}[l(\mathbf{X(Z,Y)}, \mathbf{Z}, \theta) | \mathbf{y}] $$y, desde \ begin {ecuación}\begin{aligned} l(\mathbf{x}, \mathbf{z}, p, \Theta) &= \sum_{i = 1}^m \mathbb I_{z_i=1}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i(1,y_i) - \mu)^2 \right]\\ &\quad + \sum_{i = 1}^m \mathbb I_{z_i=0}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(x_i(0,y_i) - \mu)^2 \right],\\ &= \sum_{i = 1}^m \mathbb I_{z_i=1}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(y_i - \mu)^2 \right]\\ &\quad + \sum_{i = 1}^m \mathbb I_{z_i=0}\left[ -\frac{1}{2}\ln 2\pi - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(-y_i - \mu)^2 \right], \end{aligned}\ end {ecuación} el paso E se escribe como \ begin {ecuación}\begin{aligned} \mathbb E_{\theta_n}[l(X,Z,\theta)|y) &= -\frac{m}{2}\ln 2\pi - \frac{m}{2}\ln \sigma^2- \frac{1}{2\sigma^2}\sum_{i = 1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=1}|y] (y_i - \mu)^2 \\ &\quad -\frac{1}{2\sigma^2} \sum_{i=1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=0}|y] (y_i + \mu)^2 \end{aligned}\ end {ecuación} Esto implica que$\mu_{n+1}$ para el paso M es la solución de la ecuación $$\sum_{i = 1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=1}|y] (\mu-y_i) +\sum_{i=1}^m \mathbb E_{\theta_n}[\mathbb I_{z_i=0}|y] (y_i + \mu) = 0$$