Qual é a distribuição marginal posterior?

Question

Com base nesta questão: Como construir um modelo de regressão bayesiana de uma resposta que é uma mistura gaussiana

Considere a mistura de normal, $$y_j\sim (N(0,\sigma_1))^{\pi}(N(0, \sigma_2))^{1-\pi}, j=1,2,3,4.$$

Minha pergunta é qual é a distribuição condicional de $y_j|\sigma_1^2, \sigma_2^2, z$.

Answer 1

Nota: Neste modelo linear simplificado, o estimador OLS $\hat\beta(y)$ é uma estatística suficiente, o que significa que o posterior nos parâmetros é o mesmo dado $y$ e dado $\hat\beta(y)$.

O gráfico à esquerda é um gráfico ( acíclico direcionado) que representa a estrutura de dependência no modelo. O gráfico à direita é o chamado gráfico moral associado a ele (onde os pais estão ligados). É mais útil encontrar dependências condicionais para construir um amostrador de Gibbs, já que um nó é independente de tudo, dados seus vizinhos, ou seja, pais e filhos. Por exemplo,$\beta$ só depende de $y$, $z$, $X$, e $\sigma=(\sigma_1,\sigma_2)$, mas não em $\pi$. $$ \beta| z, \sigma_1, \sigma_2, y\sim f(\beta| z, \sigma_1, \sigma_2,y)\propto f(\beta| z, \sigma_1, \sigma_2)\times f(y|,\beta,X) $$ Similarmente, $z$ só depende de $\pi$, $\sigma$, e $\beta$, e não em $y$. E enfim$\pi$ depende unicamente de $z$,$$f(\pi|z,\ldots,y)=f(\pi|z)$$

Ao considerar a condicional total de um componente de $\beta$, gostar $\beta_1$, a densidade satisfaz $$f(\beta_1|\beta_{-1},z, \sigma_1, \sigma_2, y)\sim f(\beta_1| z, \sigma_1, \sigma_2,y)\propto f(\beta| z, \sigma_1, \sigma_2,y)$$ que só depende de $z_1$ (e não $z_2,z_3,z_4$): $$f(\beta_1|\beta_{-1},z, \sigma_1, \sigma_2, y)\sim f(\beta_1| z, \sigma_1, \sigma_2,y)\propto f(\beta_1| z_1, \sigma_1, \sigma_2)\times f(y|X,\beta)$$

Embora isso deva ser considerado uma questão separada, aqui estão os detalhes ao executar um amostrador Gibbs condicional completo em $\beta$:

Na etapa 0, comece com um vetor arbitrário $\beta^{(0)}$ (por exemplo, o OLS $\hat\beta(y)$, e $\pi^{(0)}$, e gerar $z^{(0)}$ de sua distribuição condicional completa.

Na etapa t, dado o estado atual $\beta^{(t)},\sigma^{(t)},z^{(t)},\pi^{(t)}$ do parâmetro, faça

1. atualizar $\beta_1^{(t)}$ para dentro $\beta_1^{(t+1)}$ simulando de $$f(\beta_1|\beta_2^{(t)},\beta_3^{(t)},\beta_4^{(t)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_1|z_1^{(t)}, \sigma^{(t)})\times f(y|\beta_1,\beta_2^{(t)},\beta_3^{(t)},\beta_4^{(t)})$$
2. atualizar $\beta_2^{(t)}$ para dentro $\beta_2^{(t+1)}$ simulando de $$f(\beta_2|\beta_1^{(t+1)},\beta_3^{(t)},\beta_4^{(t)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_2|z_2^{(t)}, \sigma^{(t)})\times f(y|\beta_1^{(t+1)},\beta_2,\beta_3^{(t)},\beta_4^{(t)})$$
3. atualizar $\beta_3^{(t)}$ para dentro $\beta_3^{(t+1)}$ simulando de $$f(\beta_3|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_4^{(t)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_3|z_3^{(t)}, \sigma^{(t)})\times f(y|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_3,\beta_4^{(t)})$$
4. atualizar $\beta_4^{(t)}$ para dentro $\beta_4^{(t+1)}$ simulando de $$f(\beta_4|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_3^{(t+1)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_4|z_4^{(t)}, \sigma^{(t)})\times f(y|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_3^{(t+1)},\beta_4)$$