Bukti model dan pemilihan model Bayesian

Question

Saya membaca beberapa catatan kursus tentang statistik Bayesian dan di salah satu slide berjudul 'bukti model' tertulis:

$$p(y|m)=\int{p(y,\theta|m)d\theta}=\int{p(y|\theta,m)p(\theta | m)d\theta}$$ "Karena kita telah terpinggirkan $\theta$ bukti tersebut juga dikenal sebagai kemungkinan marjinal. "

Saya punya dua masalah di sini.

1. Saya tidak mengerti bagaimana caranya $p(y,\theta|m)$ menjadi $p(y|\theta,m)p(\theta | m)$. Apakah ini berasal dari aturan perkalian kejadian dependen$P(A,B)=P(A|B)P(B)=P(B|A)P(A)$? Jika demikian - saya tidak mengerti caranya. Apa ini terkait dengan "kami telah terpinggirkan karena theta"?
2. Apa $m$benar-benar berdiri? Saya tahu apa yang seharusnya diartikan tetapi itu hanya di luar pemahaman saya. Bagaimana ini terkait dengan parameter model?

Answer 1

1. Ya itu. Seperti yang Anda sebutkan, aturan klasiknya adalah$P(A,B) = P(A|B)P(B)$, tetapi juga dapat diterapkan pada probabilitas bersyarat seperti $P(\cdot|C)$ dari pada $P(\cdot)$. Itu kemudian menjadi

$$ P(A,B|C) = P(A|B,C)P(B|C) $$

(Anda hanya menambahkan ketentuan pada $C$, tetapi selain itu rumusnya sama). Anda kemudian dapat menerapkan rumus ini untuk$A = y$, $B = \theta$, dan $C = m$.

Anda tahu dari hukum probabilitas total bahwa, jika $\{B_n\}$ adalah partisi ruang sampel, kami dapatkan

$$ p(A) = \sum_n p(A,B_n) $$

atau, menggunakan rumus pertama:

$$ p(A) = \sum_n p(A|B_n)p(B_n) $$

Ini dengan mudah meluas ke variabel acak kontinu, dengan mengganti jumlah dengan integral:

$$ p(A) = \int p(A|B)p(B) dB $$

Tindakan pembuatan $B$ "menghilang" dari $p(A,B)$ dengan mengintegrasikannya $B$ disebut "marginalizing" ($B$telah terpinggirkan). Sekali lagi, Anda dapat menerapkan rumus ini untuk$A = y$, $B = \theta$, dan $C = m$.

1. $m$adalah modelnya. Data Anda$y$ dapat dihasilkan dari model tertentu $m$, dan model ini sendiri memiliki beberapa parameter $\theta$. Dalam pengaturan ini,$p(y|\theta,m)$ adalah probabilitas untuk memiliki data $y$ dari model $m$ parametrized dengan $\theta$, dan $p(\theta|m)$ adalah distribusi sebelumnya dari parameter model $m$.

Misalnya, bayangkan Anda mencoba menyesuaikan beberapa data menggunakan garis lurus atau parabola. 2 model Anda demikian$m_2$, di mana data dijelaskan sebagai $y = a_2 x^2 + a_1 x + a_0 + \epsilon$ ($\epsilon$ hanyalah beberapa gangguan acak) dan parameternya $\theta_2 = [a_2 \ a_1 \ a_0]$; dan$m_1$, di mana data dijelaskan sebagai $y = a_1 x + a_0 + \epsilon$ dan parameternya adalah $\theta_1 = [ a_1 \ a_0]$.

Untuk contoh lebih lanjut, Anda dapat melihat makalah ini, di mana kami mendefinisikan model sinaps yang berbeda, masing-masing dengan parameter berbeda: https://www.frontiersin.org/articles/10.3389/fncom.2020.558477/full

Anda juga dapat melihat komentar di sini: Bukti formal pisau cukur Occam untuk model bersarang