Что такое маргинальное апостериорное распределение?

Question

На основе этого вопроса: как построить байесовскую регрессионную модель ответа, представляющего собой смесь Гаусса

Рассмотрим смесь нормальных, $$y_j\sim (N(0,\sigma_1))^{\pi}(N(0, \sigma_2))^{1-\pi}, j=1,2,3,4.$$

У меня вопрос: каково условное распределение $y_j|\sigma_1^2, \sigma_2^2, z$.

Answer 1

Примечание. В этой упрощенной линейной модели оценка МНК $\hat\beta(y)$ является достаточной статистикой, что означает, что апостериорные параметры совпадают с заданными $y$ и учитывая $\hat\beta(y)$.

Левый график - это ( ориентированный ациклический) график, представляющий структуру зависимости в модели. Правый граф - это так называемый моральный граф, связанный с ним (где родители связаны). Наиболее полезно найти условные зависимости для построения сэмплера Гиббса, поскольку узел не зависит от всего остального с учетом своих соседей, то есть родителей и детей. Например,$\beta$ только зависит от $y$, $z$, $X$, и $\sigma=(\sigma_1,\sigma_2)$, но не на $\pi$. $$ \beta| z, \sigma_1, \sigma_2, y\sim f(\beta| z, \sigma_1, \sigma_2,y)\propto f(\beta| z, \sigma_1, \sigma_2)\times f(y|,\beta,X) $$ Так же, $z$ только зависит от $\pi$, $\sigma$, и $\beta$, а не на $y$. И наконец$\pi$ полностью зависит от $z$,$$f(\pi|z,\ldots,y)=f(\pi|z)$$

При рассмотрении полного условия одного компонента $\beta$, любить $\beta_1$, плотность удовлетворяет $$f(\beta_1|\beta_{-1},z, \sigma_1, \sigma_2, y)\sim f(\beta_1| z, \sigma_1, \sigma_2,y)\propto f(\beta| z, \sigma_1, \sigma_2,y)$$ что зависит только от $z_1$ (и не $z_2,z_3,z_4$): $$f(\beta_1|\beta_{-1},z, \sigma_1, \sigma_2, y)\sim f(\beta_1| z, \sigma_1, \sigma_2,y)\propto f(\beta_1| z_1, \sigma_1, \sigma_2)\times f(y|X,\beta)$$

Хотя это следует рассматривать как отдельный вопрос, вот подробности при запуске полного условного сэмплера Гиббса на $\beta$:

На шаге 0 начнем с произвольного вектора $\beta^{(0)}$ (например, OLS $\hat\beta(y)$, и $\pi^{(0)}$, и сгенерировать $z^{(0)}$ из его полного условного распространения.

На шаге t, учитывая текущее состояние $\beta^{(t)},\sigma^{(t)},z^{(t)},\pi^{(t)}$ параметра сделать

1. Обновить $\beta_1^{(t)}$ в $\beta_1^{(t+1)}$ путем моделирования из $$f(\beta_1|\beta_2^{(t)},\beta_3^{(t)},\beta_4^{(t)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_1|z_1^{(t)}, \sigma^{(t)})\times f(y|\beta_1,\beta_2^{(t)},\beta_3^{(t)},\beta_4^{(t)})$$
2. Обновить $\beta_2^{(t)}$ в $\beta_2^{(t+1)}$ путем моделирования из $$f(\beta_2|\beta_1^{(t+1)},\beta_3^{(t)},\beta_4^{(t)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_2|z_2^{(t)}, \sigma^{(t)})\times f(y|\beta_1^{(t+1)},\beta_2,\beta_3^{(t)},\beta_4^{(t)})$$
3. Обновить $\beta_3^{(t)}$ в $\beta_3^{(t+1)}$ путем моделирования из $$f(\beta_3|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_4^{(t)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_3|z_3^{(t)}, \sigma^{(t)})\times f(y|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_3,\beta_4^{(t)})$$
4. Обновить $\beta_4^{(t)}$ в $\beta_4^{(t+1)}$ путем моделирования из $$f(\beta_4|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_3^{(t+1)}, z^{(t)}, \sigma^{(t)},y)\propto f(\beta_4|z_4^{(t)}, \sigma^{(t)})\times f(y|\beta_1^{(t+1)},\beta_2^{(t+1)},\beta_3^{(t+1)},\beta_4)$$