ตัวเลือกพารามิเตอร์ที่ไม่ให้ข้อมูลสำหรับการแจกแจง Dirichlet คืออะไร?
การแจกแจง Dirichlet เป็นคอนจูเกตก่อนการแจกแจงแบบพหุนาม ฉันต้องการกำหนดน้ำหนักตัวอย่างที่ไม่ให้ข้อมูลไว้ก่อน$\pi$ สำหรับการจับฉลาก $x=(x_1,…,x_N)$ จากการแจกแจงแบบพหุนามพร้อมการสนับสนุน $d=(d_1,…,d_K)$ (ค่าที่เป็นไปได้ทั้งหมดที่ $x_i$ สามารถใช้) และการสุ่มตัวอย่างน้ำหนัก $\pi=(\pi_1,…,\pi_K)$.
ฉันอยู่ภายใต้ความประทับใจนั้น $Dir(\alpha)$ ด้วย $\alpha_i=1$เป็นทางเลือกที่เหมาะสม แต่ฉันเคยอ่านมาแล้ว (ดูเช่นนี้ )$Dir(\alpha)$ ด้วย $\alpha_i=0$ ให้การกระจายข้อมูลที่ไม่เหมาะสม
คำถาม:
- ทำไม $Dir(\alpha)$ ด้วย $\alpha_i=0$ไม่เป็นข้อมูล? ไม่$\alpha\to 0$ กำหนดน้ำหนักการสุ่มตัวอย่างที่สูงขึ้นสำหรับข้อมูลเดียวและเป็นศูนย์สำหรับข้อมูลอื่น ๆ ทั้งหมดหรือไม่
- ไม่ควรกระจายแบบสม่ำเสมอ $Dir(\alpha)$ ด้วย $\alpha_i=1$ เป็นตัวเลือกที่ไม่ให้ข้อมูลสำหรับก่อนหน้านี้แทน?
คำตอบ
ปัญหาหลักของที่นี่คือ "ไม่ให้ข้อมูล" เป็นสิ่งที่ของระยะเวลาของศิลปะและมันสามารถนำสูตรในรูปแบบต่างๆ (ดูที่นี่สำหรับการสนทนาที่น่าสนใจเกี่ยวกับเรื่องนี้) ในความหมายที่เข้มงวดไม่มีสิ่งที่เรียกว่า "ไม่ให้ข้อมูลก่อนหน้า" เนื่องจากการแจกแจงก่อนหน้าทุกครั้งเป็นการแจกแจงเฉพาะที่มีนัยยะของความน่าจะเป็นที่เฉพาะเจาะจงจำนวนหนึ่ง สิ่งที่เรามีคือวิธีการที่แตกต่างกันหลายประการที่สามารถสร้างไพรเออร์ที่ไม่ใช่อัตนัยได้ (เช่นไพรเออร์ที่ขึ้นอยู่กับรูปแบบทั่วไปของฟังก์ชันความน่าจะเป็นโดยไม่ต้องคำนึงถึงค่าข้อมูล)
มีหลายทฤษฎีที่แข่งขันกันเกี่ยวกับการกำหนดตัวเลือกที่ไม่ใช่อัตวิสัย ซึ่งรวมถึงทฤษฎี "นักบวชอ้างอิง" นักบวชเจฟฟรีส์และอื่น ๆ อีกมากมาย ทฤษฎีเหล่านี้นำไปสู่รูปแบบก่อนหน้านี้ที่ค่อนข้างใกล้กัน แต่มีความแตกต่างกันเล็กน้อยดังนั้นจึงมีวรรณกรรมที่เถียงกันอยู่ไม่น้อยซึ่งดีที่สุด หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้เราขอแนะนำให้คุณอ่านผลงานบางส่วนของJosé Bernardo ซึ่งอาจเป็นนักสถิติ Bayesian ที่โดดเด่นในสาขานี้ (อีกสิ่งหนึ่งที่ฉันอยากแนะนำคือให้อ่านเกี่ยวกับทฤษฎี "ความน่าจะเป็นที่ไม่ชัดเจน" โดย Peter Walley ในมุมมองของฉันวิธีนี้มีข้ออ้างที่ดีกว่าว่าเป็นวัตถุประสงค์ที่แท้จริงและ "ไม่ให้ข้อมูล" มากกว่าการเลือกทฤษฎีก่อนหน้านี้โดยเฉพาะ)
เกี่ยวกับคำถามเฉพาะของคุณใช่ $\text{Dirichlet}(\mathbf{0})$การแจกจ่ายเป็นการแจกจ่ายที่ไม่เหมาะสมดังนั้นหากคุณใช้ก่อนหน้านี้แสดงว่าเป็นการแจกจ่ายก่อนหน้านี้ที่ไม่เหมาะสม ไม่ว่าก่อนหน้านี้จะดีกว่าหรือแย่กว่าแฟลตก่อนหน้านี้ฉันจะฝากไว้ให้คุณอ่านวรรณกรรมเกี่ยวกับนักบวชที่ไม่เหมาะสมและดูข้อดีของแต่ละวิธี เป็นที่น่าสังเกตว่าข้อมูลเหล่านี้จะไม่แตกต่างกันมากนักตราบเท่าที่คุณมีข้อมูลในปริมาณที่เหมาะสม - ข้อมูลจะปรากฏในด้านหลังโดยเพิ่มขึ้นหนึ่งในค่าพารามิเตอร์สำหรับจุดข้อมูลที่สังเกตแต่ละจุด การวิเคราะห์แบบเบย์มีทฤษฎีบทความสอดคล้องที่เป็นประโยชน์หลายประการที่กำหนดว่าความเชื่อหลังมาบรรจบกันแม้จะมีผู้ที่แตกต่างกันก็ตามและสำหรับนักบวชเช่นนี้ซึ่งแตกต่างกันเพียงเล็กน้อยการบรรจบกันนี้ค่อนข้างรวดเร็ว
ฉันมีแนวโน้มที่จะเห็นด้วยกับคุณเพราะฉันรู้ว่า rstan ใช้αi = 1 เป็นตัวเลือกก่อนหน้าของ Dirichlet เริ่มต้น ตัวเลือกเริ่มต้นมีวัตถุประสงค์เพื่อให้ข้อมูลที่ไม่ชัดเจน แต่ฉันพบบทความนี้กล่าวถึงสาเหตุที่ Dir (0) เป็นตัวเลือกที่ถูกต้อง ฉันไม่เข้าใจดีพอที่จะสรุปได้ดี แต่ดูเหมือนว่า Dir (0) เป็นทางเลือกเดียวที่ไม่เป็นข้อมูลภายใต้การเปลี่ยนแปลงที่รักษาความเป็นปกติ