ด้านหลังเท่ากันบนพื้นที่ที่มีขอบเขตเทียบกับพื้นที่ที่ไม่มีขอบเขต

Aug 16 2020

ตามคำตอบนี้ :

ไม่มีปัญหากับด้านหลังแบนบนพื้นที่ที่มีขอบเขตเช่นที่นี่ คุณต้องเริ่มจากก่อนหน้านี้ที่กระจายออกไปมากกว่าแบบแบน สิ่งที่คุณไม่มีคือหลังแบนบนพื้นที่ว่างที่ไม่มีขอบเขตเพราะนั่นไม่ใช่การกระจายที่เหมาะสม

ฉันสงสัยว่าจะมีใครอธิบายได้อย่างละเอียดว่า (ถ้าและ) ทำไมแบนด้านหลังบนพื้นที่ที่ไม่มีขอบเขตจึงไม่เป็นที่ยอมรับและมันแตกต่างอย่างไรกับพื้นที่ที่มีขอบเขต ตัวอย่างหลังคือการแจกแจง dirichlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ ที่ไหน $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.

คำตอบ

13 ThomasLumley Aug 16 2020 at 10:49

เป็นไปไม่ได้ที่จะมีการแจกแจงความน่าจะเป็นแบบแบน (สม่ำเสมอ) บนพื้นที่ที่ไม่มีขอบเขตดังนั้นโดยเฉพาะอย่างยิ่งจึงเป็นไปไม่ได้ที่จะมีการแจกแจงด้านหลังแบบแบน

หากคุณมีความหนาแน่นของความน่าจะเป็นสม่ำเสมอบนเส้นจริงทั้งหมดคุณจะต้องมีฟังก์ชัน $f(x)$ที่รวมเป็น 1 (เป็นความหนาแน่นของความน่าจะเป็น) แต่เป็นค่าคงที่ เป็นไปไม่ได้: ฟังก์ชันคงที่รวมเข้ากับ 0 หรืออินฟินิตี้

ในทำนองเดียวกันถ้าคุณมีการแจกแจงแบบสม่ำเสมอบนชุดจำนวนเต็มไม่สิ้นสุดคุณจะต้องมีฟังก์ชันมวลความน่าจะเป็น $p(n)$ จะเท่ากันสำหรับทุกคน $n$และเพิ่มเป็น 1 ไม่ได้; ถ้า$p(n)$ มีค่าเท่ากันสำหรับทุกคน $n$ ต้องบวกเป็นศูนย์หรือไม่มีที่สิ้นสุด

ปัญหาที่คล้ายคลึงกันเกิดขึ้นสำหรับช่องว่างที่ซับซ้อนมากขึ้นซึ่งมีความหมายที่จะพูดถึงการกระจายเป็น 'แบน'

บนพื้นที่มิติ จำกัด ขอบเขตเป็นไปได้ที่จะมีฟังก์ชันคงที่ที่รวมเข้ากับ 1 และการแจกแจงความน่าจะเป็นจึงเป็นแบบแบนได้ ตัวอย่างเช่นการแจกแจง Dirichlet ถูกกำหนดบนไฟล์$n$สามเหลี่ยมมิติพร้อมพื้นที่ $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ ดังนั้นฟังก์ชันคงที่ใด ๆ จึงมีอินทิกรัล จำกัด และฟังก์ชัน $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ รวมเป็น 1 การแจกแจงความน่าจะเป็นสำหรับ New Zealand Lotto อยู่เหนือชุดของลำดับตัวเลขหกตัวที่มีค่าตั้งแต่ 1 ถึง 40 ดังนั้นจึงมีจำนวนมากเท่านั้นและคุณสามารถใส่ความน่าจะเป็นเท่ากันในแต่ละอันได้ ($p(x)=1/3838380$) และเพิ่มได้ถึง 1

ดังนั้นคำถามที่แท้จริงก็คือการแจกแจงแบบแบนก่อนหน้านี้มีความหมายอย่างไร ปรากฎว่าคุณสามารถใส่ฟังก์ชันคงที่ลงในกฎของ Bayes แทนค่าความหนาแน่นก่อนหน้าและได้รับการกระจายของแท้ออกมาเป็นส่วนหลัง มันสมเหตุสมผลแล้วที่จะคิดว่าหลังนั้นเป็นของ 'แบนก่อนหน้า' แม้ว่าจะไม่มีสิ่งนั้นก็ตาม นอกจากนี้ด้านหลังที่คุณได้รับสำหรับ 'แบนก่อนหน้า' เมื่อมีอยู่มักจะเหมือนกับขีด จำกัด ของผู้อยู่เบื้องหลังที่คุณจะได้รับสำหรับนักบวชแท้มากขึ้นเรื่อย ๆ [ฉันไม่รู้ว่าเป็นเช่นนี้เสมอไป จริงหรือมักจะเป็นจริง] ตัวอย่างเช่นถ้าคุณมี$X_m\sim N(\mu,1)$ ข้อมูลและไฟล์ $\mu\sim N(0,\omega^2)$ ก่อนหน้าหลังเป็นปกติโดยมีค่าเฉลี่ย $$\frac{n\bar X_n}{n+\omega^{-2}}$$ และความแปรปรวน $1/(n+\omega^{-2})$. ถ้าคุณปล่อยให้$\omega$ เพิ่มขึ้นก่อนหน้านี้จะกระจายออกไปมากขึ้นและด้านหลังเข้าใกล้มากขึ้นเรื่อย ๆ $N(\bar X, 1/n)$ซึ่งเป็นสิ่งที่คุณจะได้รับจากการ "แบนก่อนหน้า"

แม้ว่าบางครั้งการใช้ 'flat before' ไม่ได้ให้การแจกแจงความน่าจะเป็นที่แท้จริงสำหรับด้านหลังซึ่งในกรณีนี้มันไม่สมเหตุสมผลเลย

8 Xi'an Aug 16 2020 at 12:40

พูดอย่างเคร่งครัดคำถามไม่ชัดเจนเนื่องจากไม่ได้ระบุการวัดอ้างอิง ถ้าวัดอ้างอิงคือ$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ ที่ไหน $\lambda$ คือการวัด Lebesgue ส่วนหลังที่มีความหนาแน่นคงที่นั้นใช้ได้

อย่างไรก็ตามสมมติว่าการใช้ "แบนก่อนหน้า" หมายถึงการมีความหนาแน่นคงที่เมื่อเทียบกับการวัด Lebesgue คำตอบของ Thomas Lumley อธิบายอย่างชัดเจนว่าทำไมการอนุมานแบบเบย์จึงเป็นไปไม่ได้ด้วย "หลัง" เช่นนี้ นี่ไม่ใช่ความหนาแน่นของความน่าจะเป็นและด้วยเหตุนี้จึงไม่ได้กำหนดส่วนหลัง ไม่มีวิธีใดที่จะคำนวณความคาดหวังด้านหลังหรือแม้กระทั่งความน่าจะเป็นหลังเนื่องจากมวลหลังของพื้นที่ทั้งหมดเป็นอินฟินิตี้ พื้นที่พารามิเตอร์ใด ๆ ที่มีปริมาตรไม่สิ้นสุดไม่สามารถอนุมานได้ภายใต้ด้านหลังเช่นนี้ โดยทั่วไปแล้วส่วนหลังใด ๆ ที่รวมเข้ากับอินฟินิตี้ไม่เป็นที่ยอมรับสำหรับการอนุมานแบบเบย์ด้วยเหตุผลเดียวกับที่ไม่สามารถเปลี่ยนเป็นความหนาแน่นของความน่าจะเป็นได้

ในฐานะที่เป็นชายขอบและตามที่กล่าวไว้ในรายการที่ตรวจสอบแล้ว X ก่อนหน้านี้ค่าเอนโทรปีสูงสุดก่อนหน้านี้$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ ถูกกำหนดในแง่ของมาตรการที่มีอำนาจเหนือกว่า $\text{d}\lambda$. ไม่มีการวัดเอนโทรปีที่แน่นอนหรือไม่ซ้ำกันในช่องว่างต่อเนื่อง