¿Por qué necesitamos un muestreo de importancia?
Estaba estudiando el método de mejora de políticas fuera de las políticas. Luego me encontré con el muestreo de importancia . Entendí completamente las matemáticas detrás del cálculo, pero me pregunto cuál es el ejemplo práctico del muestreo de importancia.
Por ejemplo, en un video , se dice que necesitamos calcular el valor esperado de un dado sesgado, aquí$g(x)$, en términos del valor esperado de los dados justos, $f(x)$. Aquí hay una captura de pantalla del video.
¿Por qué necesitamos eso, cuando tenemos la distribución de probabilidad de los dados sesgados?
Respuestas
El muestreo de importancia se usa normalmente cuando la distribución de interés es difícil de muestrear, por ejemplo, podría ser computacionalmente costoso extraer muestras de la distribución, o cuando la distribución solo se conoce hasta una constante multiplicativa, como en las estadísticas bayesianas, donde es intratable para calcular la probabilidad marginal; es decir
$$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)} \propto p(x|\theta)p(\theta)$$
dónde $p(x)$es nuestra probabilidad marginal que puede ser intratable y, por lo tanto, no podemos calcular el posterior completo y, por lo tanto, se deben usar otros métodos para generar muestras a partir de esta distribución. Cuando digo intratable, tenga en cuenta que
$$p(x) = \int_{\Theta} p(x|\theta)p(\theta) d\theta$$
y tan intratable aquí significa que a) la integral no tiene solución analítica ob) un método numérico para calcular esta integral puede ser demasiado costoso de ejecutar.
En el caso de su ejemplo de dado, tiene razón en que podría calcular la expectativa teórica de los dados de sesgo analíticamente y esto probablemente sería un cálculo relativamente simple. Sin embargo, para motivar por qué el muestreo de importancia puede ser útil en este escenario, considere calcular la expectativa utilizando métodos de Monte Carlo. Sería mucho más sencillo muestrear uniformemente un número entero aleatorio del 1 al 6 y calcular la proporción de muestreo de importancia$x \frac{g(x)}{f(x)}$ de lo que sería extraer muestras de los dados de sesgo, sobre todo porque la mayoría de los lenguajes de programación han incorporado métodos para muestrear enteros aleatoriamente.
Como su pregunta está etiquetada como aprendizaje por refuerzo, agregaré por qué es útil en el dominio RL. Una razón es que puede ser que nuestra política de interés sea costosa de tomar muestras, por lo que en su lugar podemos generar acciones a partir de alguna otra política simple mientras seguimos aprendiendo sobre la política de interés. En segundo lugar, podríamos estar interesados en una política que sea determinista (codiciosa) pero que aún podamos explorar, de modo que podamos tener una distribución fuera de la política que explore con mucha más frecuencia.
NB: puede que no esté claro cómo puede usar el muestreo de importancia si la distribución solo se conoce hasta una constante, así que consulte esta respuesta para obtener una explicación.