Statistisches Lernen. Widersprüche?
Derzeit lese ich einige Kapitel von: Eine Einführung in das statistische Lernen mit Anwendungen in R von Gareth James, Daniela Witten, Trevor Hastie und Robert Tibshirani (Springer, 2015). Jetzt habe ich einige Zweifel daran, was dort gesagt wird.
Vor allem scheint es mir wichtig zu sein, darauf hinzuweisen, dass in Kapitel 2 zwei Konzepte vorgestellt werden: Kompromiss zwischen Vorhersagegenauigkeit und Interpretierbarkeit des Modells und Kompromiss zwischen Bias und Varianz . Letzteres habe ich in einer früheren Frage erwähnt .
In diesem Buch wird vorgeschlagen, dass die Konzentration auf den erwarteten Vorhersagefehler (Test-MSE) die folgenden Aussagen liefert:
Weniger flexible Spezifikationen bedeuten mehr Verzerrung, aber weniger Varianz
Flexiblere Spezifikationen bedeuten weniger Verzerrung, aber mehr Varianz
Daraus folgt, dass lineare Regression mehr Verzerrung, aber weniger Varianz impliziert. Das Optimum im Kompromiss zwischen Bias und Varianz, das Minimum in der Test-MSE, hängt von der wahren Form von ab$f()$ [im $Y = f(X) + \epsilon$]. Manchmal funktioniert die lineare Regression besser als flexiblere Alternativen und manchmal nicht. Diese Grafik erzählt diese Geschichte:
Im zweiten Fall funktioniert die lineare Regression recht gut, in den beiden anderen weniger. In dieser Perspektive ist alles in Ordnung.
Meiner Meinung nach erscheint das Problem unter der Perspektive der Folgerung und Interpretierbarkeit, die in diesem Buch verwendet wird. In der Tat schlägt dieses Buch auch vor, dass:
weniger flexible Spezifikationen sind weiter von der Realität entfernt als voreingenommen, aber gleichzeitig leichter zu handhaben und dann besser interpretierbar;
Flexiblere Spezifikationen sind näher an der Realität, daher weniger voreingenommen, aber gleichzeitig weniger nachvollziehbar und dann weniger interpretierbar.
Als Ergebnis haben wir, dass lineare Regressionen, OLS und noch mehr LASSO, am interpretierbarsten und leistungsfähigsten für Schlussfolgerungen sind. Diese Grafik erzählt diese Geschichte:
Dies scheint mir ein Widerspruch zu sein. Wie ist es möglich, dass lineare Modelle gleichzeitig voreingenommener sind, aber am besten für Inferenzen? Und wie ist es unter linearen Modellen möglich, dass die LASSO-Regression für die Inferenz besser ist als die OLS-Regression?
EDIT : Meine Frage kann wie folgt zusammengefasst werden:
linear geschätzte Modelle werden als besser interpretierbar angegeben, selbst wenn sie voreingenommener sind.
linear geschätzte Modelle werden als zuverlässiger für die Inferenz angegeben, selbst wenn sie voreingenommener sind.
Ich habe die Antwort und die Kommentare von Tim sorgfältig gelesen. Es scheint mir jedoch, dass einige Probleme bestehen bleiben. Tatsächlich sieht es also so aus, als ob in gewissem Sinne die erste Bedingung gelten kann, dh in einem Sinne, in dem „Interpretierbarkeit“ eine Eigenschaft des geschätzten Modells selbst ist (seine Beziehung zu etwas „Außerhalb“ wird nicht berücksichtigt).
Über Inferenz "außerhalb" ist der Kern, aber das Problem kann sich um seine genaue Bedeutung bewegen. Dann überprüfte ich die Definition, die Tim vorgeschlagen hatte ( Was ist die Definition von Inferenz? ), Auch hier (https://en.wikipedia.org/wiki/Statistical_inference), und anderswo. Einige Definitionen sind recht allgemein gehalten, aber in den meisten Materialien, auf die ich schließen kann, ist Folgendes gemeint: Sagen Sie aus dem Beispiel etwas über das "wahre Modell", unabhängig von seiner tiefen Bedeutung. Die Autoren des betreffenden Buches verwendeten also so etwas wie das „wahre Modell“, was bedeutet, dass wir es nicht überspringen können. Nun kann jeder voreingenommene Schätzer nicht einmal asymptotisch etwas Richtiges über das wahre Modell und / oder seine Parameter sagen. Unvoreingenommenheit / Konsistenz (Unterschied hier irrelevant) ist die Hauptanforderung für jedes Modell, das für ein reines Inferenzziel geschrieben wurde. Daher kann die zweite Bedingung nicht gelten, und der Widerspruch bleibt bestehen.
Antworten
Es gibt keinen Widerspruch. Die Tatsache, dass etwas leicht zu interpretieren ist, hat nichts damit zu tun, wie genau es ist. Das am besten interpretierbare Modell, das Sie sich vorstellen können, ist die Vorhersage einer Konstanten, unabhängig von den Daten. In einem solchen Fall könnten Sie immer erklären, warum Ihr Modell die Vorhersage gemacht hat, aber die Vorhersagen wären schrecklich.
Es ist jedoch nicht der Fall, dass Sie komplizierte Black-Box-Modelle benötigen, wenn Sie genaue Ergebnisse und Modelle mit schlechter Leistung für die Interpretierbarkeit wünschen. Hier finden Sie einen schönen, beliebten Artikel von Cynthia Rudin und Joanna Radin, in dem sie Beispiele für interpretierbare Modelle geben, die sehr gute Ergebnisse liefern, und damit diskutieren, wie Leistung und Interpretierbarkeit eine falsche Zweiteilung sind. Es gibt auch eine sehr interessante Folge des Data Skeptic Podcasts zu diesem Thema, in der Cynthia Rudin zu Gast ist.
Vielleicht interessiert Sie auch das Wann ist ein voreingenommener Schätzer einem unvoreingenommenen vorzuziehen? Faden.