Comprendre les différentes notations d'approximation de Monte Carlo
Travaille actuellement sur un projet impliquant des intégrales de Monte Carlo. Je n'ai eu aucune étude préalable de cette méthode, d'où la question suivante.
Considérez l'attente suivante:
$$E[f(X)]=\int_A f(x)g(x)dx.$$
Laisser $X$ être une variable aléatoire prenant des valeurs dans $A\subseteq\mathbb{R}^n$. Laisser$g:A\to\mathbb{R}_+$ être la densité de probabilité de $X$, et $f:A\to\mathbb{R}$ une fonction telle que l'espérance ci-dessus est finie.
Si $X_1,X_2,...X_N$ être des variables aléatoires indépendantes avec une densité de probabilité $g$, puis par la loi des grands nombres,
$$\frac{1}{N} \sum_{i=1}^N f(X_i) \to E[f(X)] \quad \text{as N} \to \infty.$$
Autant que je sache, la somme ci-dessus est une approximation générale de Monte Carlo de l'intégrale.
L'approximation ci-dessus fait-elle une hypothèse sur le pdf, c'est-à-dire l'uniformité et la normalisation? S'il s'agit d'une approximation générale, cela devrait être valable pour n'importe quel pdf, mais j'ai vu différentes approximations telles que$V\frac{1}{N}\sum_{i=1}^N f(X_i)$ et$\frac{1}{N}\sum_{i=1}^N \frac{f(X_i)}{g(X_i)}$, où dans l'ancien $V$désigne l'intégrale définie sur le pdf. Comment sont-ils liés et dérivés?
Réponses
Oui, la formule que vous fournissez doit converger vers une vraie réponse pour une distribution de probabilité arbitraire $g(x)$donné des points d'échantillonnage infinis. Le problème est que vous ne voulez pas attendre indéfiniment. Donc, au contraire, une question plus intéressante est de savoir si elle est susceptible de converger vers une valeur proche de la valeur vraie étant donné un nombre fini d'échantillons. Et ici la réponse dépend de la distribution de$f(x)$dans l'espace. Pour les distributions de$f(x)$qui sont plus ou moins uniformes sur le domaine d'intérêt l'échantillonnage de base MC fonctionne très bien. Cependant, si la majorité des éléments$f(x)$est concentré dans une petite région, en particulier dans les dimensions supérieures, la MC de base est totalement irréalisable. Ce problème est en fait relativement fréquent dans la vraie vie, où$f(x)$est un gaussien multidimensionnel étroit. L'échantillonnage MC sur un cube contenant ce gaussien est une très mauvaise idée en grandes dimensions.
Afin de résoudre ce problème, les gens ont conçu de nombreuses méthodes pour «échantillonner là où ça compte». Le plus simple de ceux-ci est ce qu'on appelle l' échantillonnage par importance . L'idée est que vous avez des connaissances préalables sur la façon$f(x)$ peuvent être distribués et échantillonner en utilisant un compromis entre $g(x)$ et cette distribution antérieure, mais vous devez également corriger la réponse résultante pour tenir compte du fait que vous n'avez pas échantillonné exactement $g(x)$. C'est la dernière formule que vous avez fournie. La formule du milieu que je n'ai pas vue auparavant.
Enfin, l’importance de l’échantillonnage dépend du préalable. Même en l'absence de préalable, il est possible de faire mieux que le MC de base en trouvant de manière adaptative la distribution antérieure. Cependant, il s'agit d'un problème ouvert activement recherché.
Donc, pour résumer, il existe plusieurs formules pour MC qui fonctionnent toutes pour arbitraire $f(x)$ et $g(x)$ mais ont des vitesses de convergence différentes et sont donc meilleures ou pires dans des scénarios spécifiques
En termes probabilistes, la méthode de Monte Carlo (ou sa justification) est appelée la loi des grands nombres. La convergence$$\frac{1}{N} \sum_{i=1}^N f(X_i) \stackrel{\text{a.s.}}{\to} \mathbb E_g[f(X)]\tag{1}$$ n'assume rien d'autre que l'id-ness du $X_i$et l'existence de l'attente.
Une caractérisation plus précise de la convergence nécessite des propriétés supplémentaires de la paire $(f,g)$. Par exemple, la variance des lhs dans (1) passe à zéro avec$N$ fourni la variance$$\text{var}_g(f(X))$$existe (dans la dimension un). La vitesse à laquelle il passe à zéro est précisément$\text{O}(\sqrt{N})$ peu importe la dimension de $X$ et quelle que soit la méthode de Monte Carlo.
La deuxième partie de la question fait allusion à d'autres formes d'approximations de Monte Carlo. Ils sont une conséquence de la non-identifiabilité de la paire$(f,g)$ dans l'intégrale$$\mathfrak I=\int_A f(x)g(x)\text{d}x$$ qui peut être également écrit comme$$\mathfrak I=\int_A \frac{f(x)g(x)}{h(x)} h(x)\text{d}x$$pour une densité arbitraire $h$ avec support comprenant $A$ (c'est-à-dire positif sur $A$). En raison de ce manque d'identifiabilité, le choix de$h$ est généralement gratuit et le choix optimal de $h$ est $$h^\star(x) = \dfrac{|f(x)|g(x)}{\int_A |f(x)|g(x)\text{d}x}$$car il atteint la variance minimale. Cette variance est nulle lorsque$f$ est non négatif (ou non positif) sur l'ensemble de l'ensemble $A$. Evidemment, en pratique, ce choix de$h$ n'est pas disponible mais cela explique pourquoi simuler à partir de $g$ est rarement le choix optimal.