Model kanıtı ve Bayes model seçimi

Question

Bayes istatistikleri üzerine bazı ders notları okuyorum ve 'model kanıtı' başlıklı slaytlardan birinde şöyle yazıyor:

$$p(y|m)=\int{p(y,\theta|m)d\theta}=\int{p(y|\theta,m)p(\theta | m)d\theta}$$ "Çünkü biz ötekileştirdik $\theta$ kanıt aynı zamanda marjinal olasılık olarak da bilinir. "

Burada iki sorunum var.

1. Nasıl olduğunu anlamıyorum $p(y,\theta|m)$ olmak $p(y|\theta,m)p(\theta | m)$. Bu, bağımlı olayların çarpma kuralından mı türetilir?$P(A,B)=P(A|B)P(B)=P(B|A)P(A)$? Eğer öyleyse - nasıl olduğunu anlamıyorum. Bunun "teta üzerinden ötekileştirdik" ile bağlantısı nedir?
2. Nedir $m$gerçekten ayakta? Ne anlama geldiğini biliyorum ama bu benim anlayışımın ötesinde. Model parametreleriyle nasıl ilişkilidir?

Answer 1

1. Evet öyle. Bahsettiğiniz gibi klasik kural şudur:$P(A,B) = P(A|B)P(B)$, ancak aynı zamanda koşullu olasılıklara da uygulanabilir. $P(\cdot|C)$ onun yerine $P(\cdot)$. Sonra olur

$$ P(A,B|C) = P(A|B,C)P(B|C) $$

(sadece bir koşul eklersiniz $C$, ancak aksi takdirde bu aynı formül). Daha sonra bu formülü şunun için uygulayabilirsiniz:$A = y$, $B = \theta$, ve $C = m$.

Toplam olasılık yasasından biliyorsunuz ki, eğer $\{B_n\}$ örnek uzayının bir bölümüdür.

$$ p(A) = \sum_n p(A,B_n) $$

veya ilk formülü kullanarak:

$$ p(A) = \sum_n p(A|B_n)p(B_n) $$

Bu, toplamı bir integral ile değiştirerek, sürekli rastgele değişkenlere kolayca yayılır:

$$ p(A) = \int p(A|B)p(B) dB $$

Yapma eylemi $B$ "kaybolmak" $p(A,B)$ bütünleştirerek $B$ "marjinalleştirme" denir ($B$marjinalleştirildi). Bir kez daha, bu formülü şunun için uygulayabilirsiniz:$A = y$, $B = \theta$, ve $C = m$.

1. $m$modeldir. Verileriniz$y$ belirli bir modelden üretilmiş olabilir $m$ve bu modelin kendisinin bazı parametreleri vardır $\theta$. Bu ortamda,$p(y|\theta,m)$ veriye sahip olma olasılığı $y$ modelden $m$ ile parametrelendirilmiş $\theta$, ve $p(\theta|m)$ modelin parametrelerinin önceki dağılımı $m$.

Örneğin, bazı verileri düz bir çizgi veya bir parabol kullanarak sığdırmaya çalıştığınızı hayal edin. 2 modeliniz böylece$m_2$veriler şu şekilde açıklanır: $y = a_2 x^2 + a_1 x + a_0 + \epsilon$ ($\epsilon$ sadece rastgele bir gürültüdür) ve parametreleri $\theta_2 = [a_2 \ a_1 \ a_0]$; ve$m_1$veriler şu şekilde açıklanır: $y = a_1 x + a_0 + \epsilon$ ve parametreleri $\theta_1 = [ a_1 \ a_0]$.

Daha fazla örnek için, her biri farklı parametrelere sahip farklı sinaps modellerini tanımladığımız bu makaleye göz atabilirsiniz: https://www.frontiersin.org/articles/10.3389/fncom.2020.558477/full

Ayrıca buradaki yorumlara da göz atabilirsiniz: İç içe modeller için Occam'ın usturasının resmi kanıtı