Interpretation der posterioren Verteilung multipler Regressionen
Ich bin daran interessiert, wie wir die Leistung der Bayes'schen Regression bewerten (linear, multipl, logistisch usw.). Die posteriore Verteilung erfasst die relative Wahrscheinlichkeit jeder Parameterkombination. Eine 2D-Heatmap, zum Beispiel von B1 und B2 (Koeffizienten), könnte uns einen Einblick in ihre Beziehung geben.
Kürzlich erwähnte ein Kollege von mir, dass die Kovarianzmatrix des Seitenzahns effektiv "alles ist, was Sie brauchen". Ich möchte fragen, ob dies die Sache zu stark vereinfacht (und selbst wenn ja), was die hintere Kovarianzmatrix Ihnen sagt.
Meine Vermutungen sind:
(1) Entlang der Diagonale erhalten Sie die Varianz eines einzelnen Parameters. Je niedriger die Zahl, desto mehr Vertrauen haben wir in die Schätzung. Während eine hohe Varianz darauf hindeuten könnte, dass wir weniger zuversichtlich in unsere Schätzung sind.
(2) Die Kovarianz zwischen Parametern ist möglicherweise schwieriger zu interpretieren. Die Richtung (+/-) der Kovarianz kann einen Hinweis auf die Art der Beziehung geben (ist eine Zunahme eines Parameters, die mit einer Zunahme, Abnahme oder keiner der beiden verbunden ist).
(3) Die Größe der Kovarianz lässt mich innehalten. Bedeutet ein kleiner Wert ein hohes Vertrauen in die Beziehung oder wenig bis gar keine Assoziation? (Sehr unterschiedliche Bedeutungen!)
(4) Ich kann mir eine Situation vorstellen, in der die Varianz von B1 ziemlich klein ist, also sind wir vielleicht zuversichtlich in die Schätzung, während die Varianz von B2 ziemlich groß und weniger zuversichtlich sein könnte. Ich bin mir nicht sicher, wie sich dies auf unser Verständnis der Richtung und Größe der Kovarianz auswirken würde.
* All dies setzt eine ordnungsgemäße Analyse, keine Multikollinearität, Collider-Voreingenommenheit usw. voraus.
Irgendwelche Gedanken?
Antworten
Unter einem einigermaßen vagen Stand sind die Bayes'sche posteriore Kovarianzmatrix und die frequentistische Kovarianzmatrix der Schätzungen sehr ähnlich. Ihre Anwendungen zur Inferenz auf die Regressionskoeffizienten sind ebenfalls ziemlich ähnlich. Ich werde hier auf diese Antwort verweisen, da sie gleichermaßen für die Bayes'sche posteriore Kovarianzmatrix gilt:https://stats.stackexchange.com/a/152563/102879. Ignorieren Sie den letzten Absatz, da er sich auf Variablen bezieht, nicht auf Parameterschätzungen.
Eine nützliche Bayes'sche Ergänzung besteht darin, dass Sie sich die Kovarianzmatrix als Datenstreuung plausibler Parameterwerte vorstellen können, die aus der posterioren Simulation (z. B. MCMC) erhalten wurden. Wenn sowohl die Kovarianzmatrix als auch das hintere Mittel der Parameter gegeben sind, können Sie leicht (in zwei Dimensionen) von Hand zeichnen, wie dieses Streudiagramm aussehen würde: Nehmen Sie das hintere Mittel$\pm 3\times$(die Quadratwurzel der posterioren Varianzen), um die wesentlichen Bereiche der simulierten Parameter zu erhalten und die Kovarianz in eine Korrelation umzuwandeln, um die Dichtheit und Orientierung der Streuung zu erhalten. Dieses Streudiagramm zeigt Ihnen, ob ein Parameter plausibel Null oder ein anderer Wert sein kann, je nachdem, inwieweit die Streuung die angegebene Achse überlappt. Diese Anwendung beinhaltet jedoch nur Varianzen und nicht die Kovarianz.
Die Kovarianz tritt ein, wenn Sie gemeinsame Kombinationen der beiden Parameter berücksichtigen. Zum Beispiel in einigen Anwendungen die Regressionslinie$E(Y|X=x) = 0 + 1\times x$ kann von Interesse sein.
Das hintere Streudiagramm könnte wie folgt aussehen: der hypothetische Punkt$(0,1)$ wird mit einem roten "$+$":
Aus dem Diagramm geht hervor, dass die Kombination $(\beta_0, \beta_1) = (0,1)$ist unwahrscheinlich, da es eindeutig außerhalb der Streuung plausibler Werte zu liegen scheint. Auf der anderen Seite, wenn einzeln betrachtet, beide$\beta_0=0$ und $\beta_1 = 1$erscheinen plausibel, da der Bereich der plausiblen Werte jedes Parameters einzeln 0 bzw. 1 abdeckt. Der Wert der posterioren Kovarianz besteht wiederum darin, dass sie Informationen darüber liefert, welche Kombinationen von Parameterwerten plausibel sind.
Es ist jedoch besser, tatsächlich aus der posterioren Verteilung zu simulieren, als zu versuchen, sie aus der Kovarianzmatrix wiederherzustellen: Je nach Anwendung sieht das Streudiagramm möglicherweise ganz anders aus als eine multivariate Normalverteilung, und alle auf dieser Annahme basierenden Schlussfolgerungen sind falsch bis zu einem Grad. Daher stimme ich Ihrem Kollegen nicht zu. Die hintere Kovarianzmatrix ist nicht alles, was Sie brauchen. Stattdessen benötigen Sie die gesamte hintere Verteilung.