'Größe' des Abschnitts bei linearer Regression

Question

Ich habe eine Frage zu diesem Tisch.

Warum ändert sich die Konstante (Achsenabschnitt) so dramatisch von Modell 1 zu Modell 2?

Answer 1

Die Koeffizienten jedes Prädiktors ändern sich fast immer, wenn Sie weitere Prädiktoren hinzufügen. Dies ist ein Beispiel für die Änderung der Antwort, wenn Sie eine andere Frage stellen.

Mit Ihrer Software sollten Sie eine Regression ohne Prädiktor anpassen können. Wenn ich zum Beispiel versuche, die Gewichte von Personen mit einer Regression ohne Prädiktoren vorherzusagen, erhalte ich das Durchschnittsgewicht als Vorhersage. Dies wird als Achsenabschnitt oder Konstante angezeigt.

Wenn ich dann Höhe als Prädiktor hinzufüge, wird der Achsenabschnitt $b_0$ im

vorhergesagtes Gewicht $= b_0 + b_1$ Höhe

ist die Vorhersage für eine hypothetische Person mit einer Höhe von Null. (Stellen Sie sich vor, Sie stecken die Höhe ein$= 0$;; dann der Term mit Koeffizient$b_1$ verschwindet.) Der Abschnitt gemeldet für $b_0$ In diesem Fall liegt der Wert weit außerhalb der Daten und kann sogar als negative Zahl zurückgegeben werden.

Wenn ich einen Indikator hinzufüge, sagen Sie 1, wenn männlich und 0, wenn weiblich, so dass das Modell jetzt ist

vorhergesagtes Gewicht $= b_0 + b_1$ Höhe $+\ b_2$ männlich

Der Achsenabschnitt ist nun die Vorhersage für eine hypothetische Person mit einer Körpergröße von Null und wer weiblich ist (für wen männlich) $= 0$). Das wird wieder anders sein, aber nicht so sehr.

Im Allgemeinen in

$\hat y = b_0 + b_1 x_1 + \cdots + b_J x_J = b_0 + \sum_{j=1}^J x_j$

der Abschnitt $b_0$ist das, was , wenn vorhergesagt wird , all das$x_j$ (so alles $x_1$ zu $x_J$) sind Null. Der Achsenabschnitt kann in der Praxis ein unplausibler oder unmöglicher Wert sein, aber das macht keinen Unterschied zum Prinzip. Also, als die Menge von$x_j$s ändert sich, ebenso das Abfangen.

Answer 2

Nick Cox lieferte eine hervorragende Antwort und ich wollte eine intuitivere Antwort hinzufügen.

Modell 1

Modell 1 untersucht die Beziehung zwischen IQ und Gehirngröße unter Themen , die von denen in der Studie vertreten, unabhängig von diesen Themen Geschlecht , Größe und Gewicht .

Mit anderen Worten, wenn Sie sich die Zielpopulation von Probanden vorstellen, aus denen die Probanden in der Studie ausgewählt wurden, umfasst diese Population eine Mischung von Probanden - einige können Frauen sein, einige können Männer sein, einige können eine Größe von 5 Fuß 9 Zoll haben Einige können eine Größe von 5 Fuß 5 Zoll usw. haben, einige können ein Gewicht von 160 Pfund haben, einige können ein Gewicht von 120 Pfund haben usw. Modell 1 nimmt alle diese Probanden und untersucht die Beziehung zwischen ihrem IQ und Gehirn Größe ignoriert (oder nicht entfallen) ihr Geschlecht , Größe und Gewicht . Mit anderen Worten, Modell 1 mischt alle diese Themen zusammen und untersucht dann die interessierende Beziehung für die gemischten Themen.

Modell 2

Modell 2 untersucht die Beziehung zwischen IQ und Gehirngröße unter Themen , die von dem in der Studie dargestellt , die haben: das gleiche Geschlecht , die gleiche Höhe und das gleiche Gewicht .

Zum Beispiel untersucht Modell 2 die Beziehung zwischen IQ und Gehirngröße unter:

• Männer mit einer Größe von 5 Fuß 9 Zoll und einem Gewicht von 160 Pfund;
• Frauen mit einer Größe von 5 Fuß 5 Zoll und einem Gewicht von 120 Pfund, etc.

Modell 2 macht die Annahme , dass die Beziehung betwewn IQ und Gehirngröße für all diese Bevölkerungsuntergruppen gleich ist definiert durch Kombinationen von Werten von Geschlecht , Größe und Gewicht durch die diejenigen , die in Ihren Daten unterstützt. Diese Beziehung wird als angepasste Beziehung bezeichnet, da sie an Geschlecht , Größe und Gewicht angepasst ist . Im Gegensatz dazu ist die Beziehung betwewn IQ und Größe Gehirn über suchte Modell 1 ist eine nicht angepasste Beziehung.

Modell 2 wählt selektiv aus, welche Fächer es berücksichtigt. Statt alle Fächer miteinander zu mischen, konzentriert es sich auf Teilmengen von Fächern in der Zielgruppe, die dasselbe Geschlecht , dieselbe Größe und dasselbe Gewicht haben .

Intercept Interpretation in Modell 1

Für Modell 1 repräsentiert der (wahre) Achsenabschnitt den Durchschnittswert des IQ in der Zielpopulation für diejenigen Probanden, für die die Gehirngröße gleich 0 ist. Offensichtlich existieren solche Probanden nicht - wenn sie dies tun würden, wären sie hirnlos.

Intercept Interpretation in Modell 2

Für Modell 2 , das (true) Intercept den Durchschnittswert von repräsentiert IQ in der Zielgruppe für diese Themen , für die Größe des Gehirns gleich 0 ist, Geschlecht gleich männlich, Höhe gleich 0 Zoll und Gewicht gleich 0 lbs . Auch hier gibt es solche Themen nicht.

Keiner der beiden Abschnitte hat eine realistische Interpretation. Wenn Sie die Variable Gehirngröße in Modell 1 und die Variablen Gehirngröße , Höhe und Gewicht in Modell 2 zentrieren , erhalten Sie Abschnitte mit einer realistischeren Interpretation aus den umgerüsteten Modellen. Beachten Sie jedoch, dass die Steigungskoeffizienten in den beiden hier verwendeten Regressionsmodellen auch dann interpretierbar sind, wenn der Achsenabschnitt in der Praxis keine aussagekräftige Interpretation aufweist.

Intercept Interpretation in Modell 1 nach mittlerer zentrierter Gehirngröße

Für das überarbeitete Modell 1 repräsentiert der (wahre) Achsenabschnitt den Durchschnittswert des IQ in der Zielpopulation für diejenigen Probanden mit einer durchschnittlichen Gehirngröße .

Intercept-Interpretation in Modell 2 nach mittlerer Zentrierung von Gehirngröße, -größe und -gewicht

Für das überarbeitete Modell 2 stellt das (true) Intercept den Durchschnittswert von IQ in der Zielpopulation für männliche Probanden mit einer durchschnittlichen Größe des Gehirns , die durchschnittlichen Höhe und durchschnittlichem Gewicht .