Mengapa kita membutuhkan pengambilan sampel penting?
Saya sedang mempelajari metode perbaikan kebijakan di luar kebijakan. Kemudian saya menemukan pengambilan sampel penting . Saya benar-benar memahami matematika di balik penghitungan, tetapi saya bertanya-tanya apa contoh praktis dari pengambilan sampel penting.
Misalnya, dalam sebuah video , dikatakan bahwa kita perlu menghitung nilai yang diharapkan dari dadu yang bias, di sini$g(x)$, dalam hal nilai yang diharapkan dari dadu yang adil, $f(x)$. Berikut tangkapan layar videonya.
Mengapa kita membutuhkannya, ketika kita memiliki distribusi probabilitas dadu bias?
Jawaban
Pengambilan sampel kepentingan biasanya digunakan ketika distribusi minat sulit untuk diambil sampelnya - misalnya, pengambilan sampel dari distribusi dapat menjadi mahal secara komputasi - atau jika distribusi hanya diketahui hingga konstanta perkalian, seperti dalam statistik Bayesian di mana ia berada. sulit untuk menghitung kemungkinan marjinal; itu adalah
$$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)} \propto p(x|\theta)p(\theta)$$
dimana $p(x)$adalah kemungkinan marjinal kami yang mungkin tidak dapat dipecahkan sehingga kami tidak dapat menghitung posterior penuh sehingga metode lain harus digunakan untuk menghasilkan sampel dari distribusi ini. Saat saya mengatakan intractable, perhatikan itu
$$p(x) = \int_{\Theta} p(x|\theta)p(\theta) d\theta$$
dan begitu keras di sini berarti bahwa baik a) integral tidak memiliki solusi analitis atau b) metode numerik untuk menghitung integral ini mungkin terlalu mahal untuk dijalankan.
Dalam contoh contoh dadu Anda, Anda benar bahwa Anda dapat menghitung ekspektasi teoritis dari dadu bias secara analitis dan ini mungkin akan menjadi perhitungan yang relatif sederhana. Namun, untuk memotivasi mengapa pengambilan sampel kepentingan mungkin berguna dalam skenario ini, pertimbangkan untuk menghitung ekspektasi menggunakan metode Monte Carlo. Akan jauh lebih mudah untuk mencontohkan secara seragam bilangan bulat acak dari 1-6 dan menghitung rasio sampling kepentingan$x \frac{g(x)}{f(x)}$ daripada mengambil sampel dari dadu bias, paling tidak karena sebagian besar bahasa pemrograman telah membangun metode untuk mengambil sampel bilangan bulat secara acak.
Saat pertanyaan Anda ditandai sebagai pembelajaran penguatan, saya akan menambahkan mengapa ini berguna di domain RL. Salah satu alasannya adalah bahwa mungkin kebijakan kepentingan kami mahal untuk diambil sampelnya, jadi sebagai gantinya kami hanya dapat membuat tindakan dari beberapa kebijakan sederhana lainnya sambil tetap mempelajari kebijakan yang diminati. Kedua, kita bisa tertarik pada kebijakan yang deterministik (serakah) tetapi masih bisa mengeksplorasi, sehingga kita bisa memiliki distribusi off-policy yang mengeksplorasi lebih sering.
NB: mungkin tidak jelas bagaimana Anda dapat menggunakan pengambilan sampel penting jika distribusi hanya diketahui hingga sebuah konstanta, jadi lihat jawaban ini untuk penjelasannya.