Vorhersagekraft eines Datensatzes

Sep 03 2020

Ich lese ein Buch über maschinelles Lernen für Studenten. Ich bin tatsächlich verwirrt über die Flexibilität der linearen Regression.

Gelegentlich kann die lineare Regression keine gute Lösung für einen Datensatz wiederherstellen. Dies kann daran liegen, dass unsere Daten keine Vorhersagekraft haben, aber es kann auch nur darauf hinweisen, dass unsere Daten in einem Format bereitgestellt werden, das für die lineare Regression ungeeignet ist.

Ich habe hier einige Fragen zur Vorhersagekraft gelesen und festgestellt, dass es nur um das produzierte Modell geht. Was meinen wir, wenn wir über die Vorhersagekraft eines Datensatzes sprechen?

Ich denke daran, dass es keine Beziehung zwischen Merkmalen gibt (da die lineare Regression beabsichtigt ist, die Beziehung zwischen den Eingaben zu lernen $X$ und die Ausgabe $Y$). Von dieser Antwort bin ich aber noch nicht überzeugt.

Antworten

4 BenjiAlbert Sep 03 2020 at 21:19

Normalerweise bezieht sich die Vorhersagekraft eher auf das Modell als auf die Daten. Ich habe gelegentlich gesehen, dass einige Leute es so verwenden, wie es der Autor Ihres Buches verwendet (siehe dies zum Beispiel ).

Ja, im Kontext Ihres Buches bezieht sich die Vorhersagekraft darauf, ob die Eingabe der Zielausgabe zugeordnet werden kann $X\rightarrow Y$. Wir können auf die "Vorhersagekraft" eines Datensatzes schließen, indem wir versuchen, ihn zu modellieren (z. B. lineare Regression). Wenn das Modell eine schlechte Leistung erbringt, gibt es zwei Möglichkeiten, wie im Buch angegeben: Entweder ist der Datensatz nicht prädiktiv (dh er bietet keine saubere Zuordnung von der Eingabe zur Zielausgabe), oder die von uns verwendeten Methoden sind für die Modellierung der Zuordnung ungeeignet.

Einige Beispiele für beide Situationen:

Wenn Sie zufällige Daten für generiert haben $X$ und $Y$Der resultierende Datensatz hätte (wahrscheinlich) keine Vorhersagekraft, da kein Modell die Zuordnung vernünftigerweise verallgemeinern könnte $X\rightarrow Y$.
Wenn Sie eine nichtlineare Abbildung haben, passt die lineare Regression nicht gut dazu. Zum Beispiel, wenn unser Datensatz so war, dass$y_1$ wird von zugeordnet $||\vec{x}||<\alpha $ und alle anderen Eingänge sind zugeordnet $y_2$Dann ist unser Datensatz äußerst prädiktiv, aber unser lineares Regressionsmodell kann nicht dazu passen (da die Abbildung nichtlinear ist). In diesem Spielzeugbeispiel ist die Vorhersagekraft des Datensatzes leicht zu erkennen, insbesondere wenn die Eingabe in 2D / 3D erfolgt, da wir sie nur zeichnen könnten. Das manuelle Beobachten solcher Trends im hochdimensionalen Raum unter Verwendung tatsächlicher Daten kann jedoch sehr schwierig sein. Daher verwenden wir die Tools, die Sie lernen, um die Interpretation der Daten zu unterstützen. Wenn keine Linearität vorliegt, ist es auch schwierig, den Datensatz selbst statistisch auszuwerten. Variablen mit linearen Beziehungen sind einfach zu korrelieren (z. B. Pearson-Korrelationskoeffizient), aber Nichtlinearitäten können die Korrelation erschweren. Ich gehe davon aus, dass Ihr Buch aus diesem Grund auf eine vage Terminologie verzichtet, da es wahrscheinlich eher pädagogischen als pedantischen Zwecken dient. Letztendlich,Es bringt den Punkt auf den Punkt, ohne dass die laufenden Forschungen zur Quantifizierung nichtlinearer Korrelationen diskutiert werden müssen.

1 mnm Sep 08 2020 at 12:23

Anstatt nach der Vorhersagekraft eines Datensatzes zu fragen, halte ich es für intuitiv, nach der Vorhersagekraft eines Modells zu fragen. Meine Argumentation ist wie folgt;

Ein Datensatz kann univariate, bivariate oder multivariate Typen sein. Der Datensatz kann nur numerische Merkmale oder kategoriale Merkmale oder beides enthalten. Angenommen, es gibt einen univariaten Datensatz mit einer negativen verzerrten Verteilung. In einem solchen Fall ist der mittlere Median kleiner als der Modus. Angenommen, dieser univariate Datensatz besteht aus einem kontinuierlichen Datentyp. Das Wissen, dass seine Verteilung negativ verzerrt ist, hat dem Analytiker bereits einen Hinweis auf seine Symmetrie oder Verteilung gegeben. Auf der Grundlage dieser kurzen Einführung möchte ich als Analyst die Vorhersagekraft eines Datensatzes oder der Modelle kennen, die ich mit diesem Datensatz erstelle. Ist eine Frage eine Diskussion wert?

In der Literatur gab es mehrere Studien, in denen die Vorhersagekraft des Modells wie 1,2,3 diskutiert wurde ( siehe Referenzen ). Im Gegensatz dazu bin ich auf keine Studie gestoßen, in der die Vorhersagekraft eines Datensatzes erörtert wurde. Vielleicht eine zukünftige Forschungsrichtung.

Ich habe jedoch einen Artikel über R-Blogger gefunden , in dem es um predictive power scoreein Konzept ging, das dem Korrelationskoeffizienten etwas ähnelt.

Und zum Schluss noch etwas mapping. Ich denke, ein besserer Begriff könnte "Korrelation" sein, die zumindest die Beziehung zwischen zwei Variablen X und Y quantifiziert.

Hinweis

Eine ähnliche Frage wurde auf stats.stackexchange.com gestellt . Die darin enthaltenen Kommentare stimmen mit meinem anfänglichen Zweifel überein, dass es keine Vorhersagekraft für einen Datensatz gibt .