Fehlerbalken für Histogramm mit unsicheren Daten

Question

Kontext

Ich habe eine Reihe von Datenpunkten $\{x_1, \dots, x_N \}$ zusammen mit den jeweiligen Messunsicherheiten $\{\epsilon_1, \dots, \epsilon_N\}$ in ihnen ($N \approx 100$). Diese Daten sind im Grunde genommen die gemessenen Abstände zu den Ereignissen eines astrophysikalischen Prozesses, und ich versuche, die räumliche Verteilung dieser Ereignisse abzuschätzen, ohne ein Modell anzunehmen (weil ich wirklich kein vernünftiges Modell habe). Zu diesem Zweck habe ich aus meinen Daten ein Histogramm mit gleich großen Behältern erstellt$\{B_0, \dots, B_M\}$und jetzt möchte ich auch einige Fehlerbalken in mein Histogramm einfügen, wobei meine Messunsicherheiten berücksichtigt werden. Aber nachdem ich mich umgesehen hatte, wie das geht, wurde ich noch verwirrter.

(Ich habe nicht viel Erfahrung mit Statistiken, daher können die wirklichen Probleme nur mein Unverständnis in Statistiken sein.)

Histogramm ohne Messunsicherheit

Zunächst stellte ich fest, dass ich nicht einmal zu verstehen scheint, was diese Fehlerbalken bedeuten sollen. Lassen Sie uns zuerst das ignorieren$\epsilon_i$und berechnen den Fehler eines Histogramms "perfekter Daten". Ich bin an verschiedenen Stellen auf folgende Berechnung gestoßen:

Geben Sie an, wie viele Datenpunkte in bin fallen $B_k$ entsprechend als $N_k$. Wir schätzen die Wahrscheinlichkeit eines Sturzes in diesen Behälter als$p_k = \frac{N_k}{N}$. Dann, da können wir daran denken$N_k$ als Summe der Bernoulli-Variablen $Ber(p_k)$, die Varianz von $N_k$ ist nur $\sigma^2[N_k] = Np_k(1-p_k) = N_k(1-\frac{N_k}{N})$. Für groß genug$N$können wir den zweiten Term ignorieren und haben die Fehlerleiste $\sigma_k = \sqrt{N_k}$.

Aber ich verstehe nicht:

1. Ich habe gesehen, dass Leute dies oft als "Poisson-Rauschen" bezeichnen, aber ich bin mir nicht sicher, ob ich sehe, wo dieser zugrunde liegende Poisson-Prozess dieses Poisson-Rauschen erzeugt.

2. Dies deutet auch darauf hin, dass Behälter mit der Anzahl Null keinen Fehler aufweisen, was für mich nicht richtig klingt. In der Tat bin ich auf diesen Artikel gestoßen, in dem genau erläutert wurde, was beim Zuweisen einer Poisson-Fehlerleiste falsch ist$\sigma_k = \sqrt{N_k}$. Insbesondere sagt der Autor

Wenn wir N beobachten, hat diese Messung KEINE Unsicherheit: das haben wir mit einer Wahrscheinlichkeit von 100% gesehen. Stattdessen sollten wir einen Paradigmenwechsel anwenden und darauf bestehen, dass die Unsicherheit um die Modellkurve gezogen wird, mit der wir unsere Datenpunkte vergleichen möchten, und nicht um die Datenpunkte!

Aber das klingt auch nicht richtig. Während meine Messungen deterministische Zahlen sind (ohne Berücksichtigung der Messunsicherheit), versuche ich, eine Verteilung anhand einer endlichen Stichprobe zu schätzen, sodass mit meiner Schätzung immer noch Unsicherheiten verbunden sein müssen. Was sollte also der richtige Weg sein, um diese Probleme zu verstehen?

1. Es wurde mir auch vorgeschlagen, Bootstrapping zu verwenden, um diese Fehlerbalken zu schätzen, aber ich verstehe auch nicht ganz, warum es funktionieren sollte. Wenn$N_k=0$ Unabhängig davon, wie ich meine Daten erneut abtaste, wird für meinen Originaldatensatz immer Null gezählt $B_k$Ich bin also wieder gezwungen, daraus zu schließen $p_k = 0$mit null Unsicherheit. So intuitiv sehe ich nicht, wie das Bootstrapping meiner Daten mir neue Einblicke in meine Verteilungsschätzung geben kann. Nun, es kann nur sein, dass ich nicht verstehe, wie Resampling-Methoden im Allgemeinen funktionieren.

Histogramm mit Messunsicherheit

Zurück zu meinem ursprünglichen Problem. Ich habe einige Antworten gefunden, wie Messunsicherheiten wie in dieser Antwort eingegeben werden können . Die Methode besteht im Wesentlichen darin, die Wahrscheinlichkeit zu finden$q_i(B_k)$ des $i$-th Datenpunkt fällt in bin $B_k$ unter der Annahme der $i$-te Messung ist normalverteilt mit $\mathcal{N}(x_i, \epsilon_i^2)$::

$$ q_i(B_k) = \int_{B_k} \frac{1}{\sqrt{2\pi}\epsilon_i} e^{-\frac{(x-x_i)^2}{2\epsilon_i^2}} \ dx$$

Und dann benutze diese $q_i(B_k)$ die Bernoulli-Varianz in zu konstruieren $B_k$ wie

$$ \sum_{i=1}^{N} q_i(B_k)(1 - q_i(B_k)) $$

Aber meine Frage ist, wohin geht dieses "Poisson-Rauschen" bei dieser Methode? Die Anzahl der Behälter$N_k$taucht nicht einmal mehr auf und ich habe das Gefühl, dass etwas fehlt. Oder vielleicht habe ich etwas übersehen.

Ich denke also, was ich wirklich will, ist eine vollständige Behandlung der Fehlerschätzung für das Histogramm, die ich nirgendwo finden konnte.

Answer 1

Ich habe noch etwas darüber nachgedacht und ich habe ein paar Ideen.

(1) Über Messunsicherheit: Nach Ihren Angaben ist es groß genug, um dies zu berücksichtigen. Ich stimme der Formel für qi zu - dies ist nur die Masse der Verteilung für x [i], die in B [k] fällt. Daraus ergibt sich für mich, dass der Mittelwert des Anteils von x, der in B [k] fällt (nennen wir das q (B [k])), die Summe dieser Bits über alle Daten ist, dh q (B. [k]) = Summe (qi, i, 1, N). Dann ist die Höhe des Histogrammbalkens k q (B [k]). und seine Varianz ist q (B [k]) * (1 - q (B [k])).

Ich bin also nicht einverstanden mit der Varianz - ich denke, die Summe über i sollte innerhalb von q in Varianz = q * (1 - q) liegen, nicht außerhalb.

Mir fällt ein, dass Sie sicherstellen möchten, dass q (B [k]) 1 ergibt - vielleicht ist dies durch die Konstruktion garantiert. In jedem Fall möchten Sie dies überprüfen. BEARBEITEN: Wenn der Messfehler immer kleiner wird, sollten Sie auch feststellen, dass q (B [k]) gegen die einfache Schätzung von n [k] / Summe (n [k]) konvergiert.

(2) Zu früheren Informationen über nicht leere Behälter erinnere ich mich daran, dass dem Zähler und Nenner eine feste Zahl in n [k] / n hinzugefügt wurde, dh (n [k] + m [k]) / (n + Summe (m) [k])) entspricht der Annahme eines Prior über dem Bin-Anteil, wobei der vorherige Mittelwert m [k] / Summe (m [k]) ist. Wie Sie sehen können, ist der Einfluss des Prior umso stärker, je größer m [k] ist. (Dieses Geschäft über die vorherige Zählung entspricht der Annahme eines konjugierten Prior für den Bin-Anteil - "Konjugieren des vorherigen Beta-Binomials" ist ein Thema, das Sie nachschlagen können.)

Da q (B [k]) nicht nur ein Anteil der Zählungen ist, ist mir nicht sofort klar, wie ich die vorherige Zählung einbeziehen soll. Vielleicht brauchen Sie (q (B [k]) + m [k]) / Z, wobei Z das ist, was die angepassten Proportionen zu 1 summiert.

Ich weiß jedoch nicht, wie sehr Sie versuchen sollten, die Proportionen des Behälters zu korrigieren. Sie sagten, Sie hätten nicht genügend Vorinformationen, um eine parametrische Verteilung auszuwählen. Wenn ja, haben Sie möglicherweise auch nicht genug, um Annahmen über die Bin-Proportionen zu treffen. Das ist eine Art übergeordnete Frage, die Sie berücksichtigen können.

Viel Glück und viel Spaß, es scheint ein interessantes Problem zu sein.