Least Square Adjustment für normalverteilte Daten ist ein MLE?

Question

Wenn wir eine Anpassung der kleinsten Quadrate (lsa) mit dem BLUE-Algorithmus (bester linearer unverzerrter Schätzer) anwenden, minimieren wir die Summe der quadratischen Residuen. Dies stellt offensichtlich einen MVUE (Minimum Varianz Unvoreingenommener Schätzer) dar. Wikipedia liefert Details zum BLUE / Gauss-Markov-Theorem.

Angenommen, die beobachteten Daten (normalerweise als y bezeichnet) sind normal verteilt (was bei BLUE / lsa im Allgemeinen nicht der Fall sein muss). Ist es richtig zu folgern, dass der beste lineare unverzerrte Schätzer / lsa dann ein Maximum Likelihood Estimator (MLE) ist?

Answer 1

Wenn $Y_1,\ldots,Y_n\sim \text{i.i.d.} \operatorname N(\mu,\sigma^2)$ dann bedeutet die Stichprobe $(Y_1+\cdots+Y_n)/n$ ist sowohl der Schätzer der kleinsten Quadrate von $\mu$ und der Maximum-Likelihood-Schätzer von $\mu.$

Es ist auch der beste lineare unverzerrte Schätzer von $\mu,$ dh

• es ist eine lineare Kombination von$Y_1,\ldots,Y_n,$ und
• es ist unvoreingenommen in dem Sinne, dass sein erwarteter Wert gleich bleibt$\mu$ wenn $\mu$ Änderungen und
• Es ist am besten in dem Sinne, dass es eine geringere Varianz aufweist als jeder andere Schätzer, der die beiden obigen Bedingungen erfüllt.
• Es ist auch besser als alle anderen unvoreingenommenen Schätzer von $\mu.$ Beispielsweise ist der Stichprobenmedian ein unvoreingenommener Schätzer von $\mu$ das ist keine lineare Kombination von $Y_1,\ldots,Y_n,$und es hat eine größere Varianz als die des Stichprobenmittelwerts. Die Tatsache, dass es besser ist als alle anderen unverzerrten Schätzer, liegt in der gleichen Tiefe wie die Eins-zu-Eins-Natur der zweiseitigen Laplace-Transformation.

Gleiches gilt für komplexere Arten linearer Modelle. Nehmen wir zum Beispiel an, wir haben$$ \text{independent } Y_i \sim \operatorname N(a+bx_i, \sigma^2) \text{ for } i=1,\ldots,n. $$ Dann die Schätzer der kleinsten Quadrate von $a$ und $b$ sind ebenfalls BLAU.

In den obigen Situationen wird die Schätzung der kleinsten Quadrate von $\mu$ oder $(a,b)$ fällt mit der Maximum-Likelihood-Schätzung zusammen.

Die Beweise für die Behauptungen in der Liste mit Aufzählungszeichen oben, mit Ausnahme des vierten Aufzählungspunkts, können mit weitaus weniger Informationen als denen der $Y\text{s}$habe die oben genannten Verteilungen. Es reicht aus, das anzunehmen

• $Y_1,\ldots,Y_n$ Alle haben erwarteten Wert $\mu,$ oder dass sie entsprechende Erwartungswerte haben $a+bx_i,$ und
• $Y_1,\ldots,Y_n$ alle haben die gleiche Varianz (nicht unbedingt die gleiche Verteilung) und
• $Y_1,\ldots, Y_n$ sind nicht korreliert (nicht unbedingt unabhängig).

Das Gauß-Markov-Theorem besagt, dass diese drei Annahmen ausreichen, um zu gewährleisten, dass die kleinsten Quadrate BLAU sind.

Bei diesen schwächeren Gauß-Markov-Annahmen ist es jedoch nicht sinnvoll, von maximaler Wahrscheinlichkeit zu sprechen, da wir keine parametrisierte Familie von Wahrscheinlichkeitsverteilungen haben.