Verschiedene Monte-Carlo-Approximationsnotationen verstehen
Derzeit wird an einem Projekt mit Monte-Carlo-Integralen gearbeitet. Ich habe noch keine Studien zu dieser Methode durchgeführt, daher die folgende Frage.
Betrachten Sie die folgende Erwartung:
$$E[f(X)]=\int_A f(x)g(x)dx.$$
Lassen $X$ eine Zufallsvariable sein, die Werte in annimmt $A\subseteq\mathbb{R}^n$. Lassen$g:A\to\mathbb{R}_+$ sei die Wahrscheinlichkeitsdichte von $X$, und $f:A\to\mathbb{R}$ eine Funktion, bei der die obige Erwartung endlich ist.
Wenn $X_1,X_2,...X_N$ unabhängige Zufallsvariablen mit Wahrscheinlichkeitsdichte sein $g$dann nach dem Gesetz der großen Anzahl,
$$\frac{1}{N} \sum_{i=1}^N f(X_i) \to E[f(X)] \quad \text{as N} \to \infty.$$
Soweit ich weiß, ist die obige Summe eine allgemeine Monte-Carlo-Näherung des Integrals.
Nimmt die obige Annäherung eine Annahme für das PDF vor, dh Einheitlichkeit und Normalisierung? Wenn es sich um eine allgemeine Annäherung handelt, sollte sie für jedes PDF gelten, aber ich habe verschiedene Annäherungen gesehen, wie z$V\frac{1}{N}\sum_{i=1}^N f(X_i)$ und$\frac{1}{N}\sum_{i=1}^N \frac{f(X_i)}{g(X_i)}$, wo im ersteren $V$bezeichnet das bestimmte Integral über dem PDF. Wie hängen diese zusammen und werden abgeleitet?
Antworten
Ja, die von Ihnen angegebene Formel sollte zu einer echten Antwort für eine beliebige Wahrscheinlichkeitsverteilung konvergieren $g(x)$gegeben unendliche Abtastpunkte. Das Problem ist, dass Sie nicht unendlich lange warten möchten. Eine interessantere Frage ist also, ob es bei einer endlichen Anzahl von Stichproben wahrscheinlich ist, dass es zu einem Wert konvergiert, der nahe am wahren Wert liegt. Und hier hängt die Antwort von der Verteilung von ab$f(x)$im Weltraum. Für Distributionen von$f(x)$Diese sind im interessierenden Bereich mehr oder weniger einheitlich. Die grundlegende MC-Abtastung funktioniert sehr gut. Allerdings, wenn die Mehrheit der Sachen in$f(x)$konzentriert ist in einem kleinen Bereich, insbesondere in höheren Dimensionen, ist grundlegende MC völlig nicht durchführbar. Dieses Problem ist im wirklichen Leben tatsächlich relativ häufig, wo$f(x)$ist ein schmaler mehrdimensionaler Gaußscher. Die MC-Abtastung über einem Würfel, der diesen Gaußschen Wert enthält, ist in hohen Dimensionen eine sehr schlechte Idee.
Um dieses Problem zu lösen, haben die Menschen viele Methoden entwickelt, um "zu probieren, wo es darauf ankommt". Die einfachste davon ist die sogenannte Wichtigkeitsstichprobe . Die Idee ist, dass Sie Vorkenntnisse darüber haben, wie$f(x)$ könnte verteilt werden und Probe mit einem Kompromiss zwischen $g(x)$ und diese vorherige Verteilung, aber dann müssen Sie auch die resultierende Antwort korrigieren, um die Tatsache auszugleichen, dass Sie nicht genau von abgetastet haben $g(x)$. Dies ist die letzte Formel, die Sie angegeben haben. Die mittlere Formel habe ich noch nie gesehen.
Schließlich hängt die Wichtigkeitsabtastung vom Prior ab. Selbst wenn kein Vorgänger vorhanden ist, ist es möglich, eine bessere Leistung als bei einem Basis-MC zu erzielen, indem die vorherige Verteilung adaptiv ermittelt wird. Dies ist jedoch ein aktiv erforschtes offenes Problem.
Zusammenfassend gibt es also mehrere Formeln für MC, die alle für beliebige arbeiten $f(x)$ und $g(x)$ Sie haben jedoch unterschiedliche Konvergenzgeschwindigkeiten und sind daher in bestimmten Szenarien besser oder schlechter
In probabilistischen Begriffen wird die Monte-Carlo-Methode (oder ihre Rechtfertigung) als Gesetz der großen Zahlen bezeichnet. Die Konvergenz$$\frac{1}{N} \sum_{i=1}^N f(X_i) \stackrel{\text{a.s.}}{\to} \mathbb E_g[f(X)]\tag{1}$$ nimmt nichts anderes an als die Identität der $X_i$und die Existenz der Erwartung.
Eine genauere Charakterisierung der Konvergenz erfordert weitere Eigenschaften des Paares $(f,g)$. Zum Beispiel geht die Varianz der lhs in (1) mit auf Null$N$ lieferte die Varianz$$\text{var}_g(f(X))$$existiert (in Dimension eins). Die Geschwindigkeit, mit der es auf Null geht, ist genau$\text{O}(\sqrt{N})$ egal in welcher Dimension $X$ und egal was die Monte-Carlo-Methode ist.
Der zweite Teil der Frage spielt auf andere Formen von Monte-Carlo-Näherungen an. Sie sind eine Folge der Nichtidentifizierbarkeit des Paares$(f,g)$ im Integral$$\mathfrak I=\int_A f(x)g(x)\text{d}x$$ was gleichermaßen geschrieben werden kann als$$\mathfrak I=\int_A \frac{f(x)g(x)}{h(x)} h(x)\text{d}x$$für eine beliebige Dichte $h$ mit Unterstützung einschließlich $A$ (dh positiv vorbei $A$). Aufgrund dieser mangelnden Identifizierbarkeit ist die Wahl von$h$ ist meistens kostenlos und die optimale Wahl von $h$ ist $$h^\star(x) = \dfrac{|f(x)|g(x)}{\int_A |f(x)|g(x)\text{d}x}$$wie es die minimale Varianz erreicht. Diese Varianz ist Null, wenn$f$ ist über den gesamten Satz nicht negativ (oder nicht positiv) $A$. In der Praxis ist diese Wahl offensichtlich$h$ ist nicht verfügbar, erklärt aber, warum aus simuliert wird $g$ ist selten die optimale Wahl.