Warum überlappt sich der Mittelwert ± 2 * SEM (95% -Konfidenzintervall), aber der p-Wert beträgt 0,05?
Ich habe Daten als zwei Listen:
acol = [8.48, 9.82, 9.66, 9.81, 9.23, 10.35, 10.08, 11.05, 8.63, 9.52, 10.88, 10.05, 10.45, 10.0, 9.97, 12.02, 11.48, 9.53, 9.98, 10.69, 10.29, 9.74, 8.92, 11.94, 9.04, 11.42, 8.88, 10.62, 9.38, 12.56, 10.53, 9.4, 11.53, 8.23, 12.09, 9.37, 11.17, 11.33, 10.49, 8.32, 11.29, 10.31, 9.94, 10.27, 9.98, 10.05, 10.07, 10.03, 9.12, 11.56, 10.88, 10.3, 11.32, 8.09, 9.34, 10.46, 9.35, 11.82, 10.29, 9.81, 7.92, 7.84, 12.22, 10.42, 10.45, 9.33, 8.24, 8.69, 10.31, 11.29, 9.31, 9.93, 8.21, 10.32, 9.72, 8.95, 9.49, 8.11, 8.33, 10.41, 8.38, 10.31, 10.33, 8.83, 7.84, 8.11, 11.11, 9.41, 9.32, 9.42, 10.57, 9.74, 11.35, 9.44, 10.53, 10.08, 10.92, 9.72, 7.83, 11.09, 8.95, 10.69, 11.85, 10.19, 8.49, 9.93, 10.39, 11.08, 11.27, 8.71, 9.62, 11.75, 8.45, 8.09, 11.54, 9.0, 9.61, 10.82, 10.36, 9.22, 9.36, 10.38, 9.53, 9.2, 10.36, 9.38, 7.68, 9.99, 10.61, 8.81, 10.09, 10.24, 9.21, 10.17, 10.32, 10.41, 8.77]
bcol = [12.48, 9.76, 9.63, 10.86, 11.63, 9.07, 12.01, 9.52, 10.05, 8.66, 10.85, 9.87, 11.14, 10.59, 9.24, 9.85, 9.62, 11.54, 11.1, 9.38, 9.24, 9.68, 10.02, 9.91, 10.66, 9.7, 11.06, 9.27, 9.08, 11.31, 10.9, 10.63, 8.98, 9.81, 9.69, 10.71, 10.43, 10.89, 8.96, 9.74, 8.33, 11.45, 9.61, 9.59, 11.25, 9.44, 10.05, 11.63, 10.16, 11.71, 9.1, 9.53, 9.76, 9.33, 11.53, 11.59, 10.21, 10.68, 8.99, 9.44, 9.82, 10.35, 11.22, 9.05, 9.18, 9.57, 11.43, 9.4, 11.45, 8.39, 11.32, 11.16, 12.47, 11.62, 8.77, 11.34, 11.77, 9.53, 10.54, 8.73, 9.97, 9.98, 10.8, 9.6, 9.6, 9.96, 12.17, 10.01, 8.69, 8.94, 9.24, 9.84, 10.39, 10.65, 9.31, 9.93, 10.41, 8.5, 8.64, 10.23, 9.94, 10.47, 8.95, 10.8, 9.84, 10.26, 11.0, 11.22, 10.72, 9.14, 10.06, 11.52, 10.21, 9.82, 10.81, 10.3, 9.81, 11.48, 8.51, 9.55, 10.41, 12.17, 9.9, 9.07, 10.51, 10.26, 10.62, 10.84, 9.67, 9.75, 8.84, 9.85, 10.41, 9.18, 10.93, 11.41, 9.52]
Eine Zusammenfassung der obigen Listen ist unten angegeben:
N, Mean, SD, SEM, 95% CIs
137 9.92 1.08 0.092 (9.74, 10.1)
137 10.2 0.951 0.081 (10.0, 10.3)
Ein ungepaarter t-Test für die obigen Daten ergibt einen p- Wert von 0,05:
f,p = scipy.stats.ttest_ind(acol, bcol)
print(f, p)
-1.9644209241736 0.050499295018989004
Ich verstehe aus dieser und anderen Seiten, dass der Mittelwert ± 2 * SEM (Standardfehler des Mittelwerts, berechnet durch SD / sqrt (N) ) einen Bereich von 95% Konfidenzintervall (CI) ergibt.
Ich glaube auch, dass wenn sich 95% -Konfidenzintervalle überlappen, der P-Wert> 0,05 sein wird.
Ich habe die obigen Daten als Mittelwert ± 2 * SEM aufgetragen :
Die 95% -Konfidenzintervalle überschneiden sich. Warum erreicht der p- Wert ein signifikantes Niveau?
Antworten
Die Überlappung ist nur eine (strenge / ungenaue) Faustregel
Der Punkt, an dem sich die Fehlerbalken nicht überlappen, ist, wenn der Abstand zwischen den beiden Punkten gleich ist $2(SE_1+SE_2)$. Sie testen also effektiv, ob eine standardisierte Bewertung (Abstand geteilt durch die Summe der Standardfehler) größer als 2 ist. Nennen wir dies$z_{overlap}$
$$ z_{overlap} = \frac{\vert \bar{X}_1- \bar{X}_2 \vert}{SE_1+SE_2} \geq 2$$
Wenn das so ist $z_{overlap} \geq 2$ dann überlappen sich die Fehlerbalken nicht.
Die Standardabweichung einer linearen Summe unabhängiger Variablen
Das Addieren der Standardabweichungen (Fehler) ist nicht die typische Methode zur Berechnung der Standardabweichung (Fehler) einer linearen Summe (des Parameters) $\bar{X}_1-\bar{X}_2$ kann als lineare Summe betrachtet werden, bei der einer der beiden mit einem Faktor multipliziert wird $-1$) Siehe auch: Summe der nicht korrelierten Variablen
Das Folgende gilt also für unabhängige $\bar{X}_1$ und $\bar{X}_2$::
$$\begin{array}{} \text{Var}(\bar{X}_1-\bar{X}_2) &=& \text{Var}(\bar{X}_1) + \text{Var}(\bar{X}_2)\\ \sigma_{\bar{X}_1-\bar{X}_2}^2 &=& \sigma_{\bar{X}_1}^2+\sigma_{\bar{X}_2}^2\\ \sigma_{\bar{X}_1-\bar{X}_2} &=& \sqrt{\sigma_{\bar{X}_1}^2+\sigma_{\bar{X}_2}^2}\\ \text{S.E.}(\bar{X}_1-\bar{X}_2) &=& \sqrt{\text{S.E.}(\bar{X}_1)^2 + \text{S.E.}(\bar{X}_2)^2}\\ \end{array}$$
Aber nicht
$$\text{S.E.}(\bar{X}_1-\bar{X}_2) \neq {\text{S.E.}(\bar{X}_1) + \text{S.E.}(\bar{X}_2)}$$
'Richtige' Formel zum Vergleichen der Differenz im Mittelwert zweier Stichproben
Für einen T-Test, um den Unterschied zwischen zwei Populationen zu vergleichen , sollten Sie eine Formel wie verwenden
Im einfachsten Fall: $$t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{SE_1^2+SE_2^2}}$$ Dies ist der Fall, wenn wir die Varianzen als ungleich betrachten oder wenn die Stichprobengrößen gleich sind.
Wenn die Stichprobengrößen unterschiedlich sind und Sie die Varianz der Populationen als gleich betrachten, können Sie die Varianzen für beide Stichproben zusammen und nicht getrennt schätzen und eine von vielen Formeln für die gepoolte Varianz wie verwenden
$$s_p = \sqrt{\frac{(n_1-1)s_1^2 +(n_2-1)s_2^2}{n_1+n_2-2}}$$
mit $$t = \frac{\bar{X}_1 - \bar{X}_2}{s_p \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$$
und mit $SE_1 = s_1/\sqrt{n_1}$ und $SE_2 = s_2/\sqrt{n_2}$ du erhältst
$$t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{\frac{n_1+n_2}{n_1+n_2-2} \left( \frac{n_1-1}{n_2} SE_1^2 + \frac{n_2-1}{n_1} SE_2^2 \right)}}$$
Beachten Sie, dass der Wert $\sqrt{SE_1^2+SE_2^2}$ ist kleiner als $SE_1+SE_2$, deshalb $t>z_{overlap}$.
Nebenbemerkungen:
Im Fall der gepoolten Varianz kann es vorkommen, dass die Varianz der größeren Stichprobe größer ist als die Varianz der kleineren Stichprobe, obwohl dies selten der Fall ist $t<z_{overlap}$.
Anstelle von Z-Werten und einem Z-Test führen Sie tatsächlich einen T-Test durch ( sollten dies tun ). Es kann also sein, dass die Ebenen, auf denen Sie die Konfidenzintervalle für die Fehlerbalken basieren (z. B. '95% entspricht dem Zweifachen des Standardfehlers '), für den t-Test unterschiedlich sind. Um fair zu sein und Äpfel mit Äpfeln zu vergleichen, sollten Sie denselben Standard verwenden und das Konfidenzniveau für die Fehlerbalken auch auf einem T-Test basieren. Nehmen wir also an, dass auch für den t-Test der Grenzwert, der sich auf 95% bezieht, gleich oder kleiner als 2 ist (dies ist bei Stichprobengrößen größer als 60 der Fall).
Wenn das so ist $t \geq 2$ dann ist der Unterschied signifikant (bei 5%).
Der Standardfehler der Differenz zwischen zwei Variablen ist nicht die Summe der Standardfehler jeder Variablen. Diese Summe überschätzt den Fehler für den Unterschied und ist zu konservativ (behaupten zu oft, dass es keinen signifikanten Unterschied gibt).
Damit $t>z_{overlap}$und kann zu einem signifikanten Unterschied führen, während sich die Fehlerbalken überlappen. Sie benötigen keine nicht überlappenden Fehlerbalken, um einen signifikanten Unterschied zu erzielen. Diese Überlappung ist eine strengere Anforderung und tritt auf, wenn der p-Wert ist$\leq 0.05$ (und es wird oft ein niedrigerer p-Wert sein).
Der p-Wert sollte zwischen einem CI und einem Parameterwert berücksichtigt werden, nicht zwischen zwei CIs. In der Tat liegt der rote Punkt vollständig außerhalb des blauen CI und der blaue Punkt vollständig außerhalb des roten CI.
Und es ist wahr, dass unter der Nullhypothese ein solches Ereignis in 5% der Fälle eintreten würde:
- In 2,5% der Fälle erhalten Sie einen Punkt über dem 95% -KI
- In 2,5% der Fälle erhalten Sie einen Punkt unter dem 95% -KI
Wenn sich nur die Whisker überlappen oder berühren, führt die Nullhypothese viel seltener als 5% zu diesem Ergebnis. Dies liegt daran, dass (um Ihr Beispiel zu verwenden) sowohl die blaue Probe niedrig sein müsste als auch gleichzeitig die rote Probe hoch sein müsste (genau wie hoch würde vom blauen Wert abhängen). Sie können es sich als multivariates 3D-Gauß-Diagramm ohne Versatz vorstellen, da die beiden Fehler unabhängig voneinander sind:
Entlang jeder Achse beträgt die Wahrscheinlichkeit, außerhalb des hervorgehobenen Bereichs (CI) zu fallen, 0,05. Die Gesamtwahrscheinlichkeiten der blauen und rosa Bereiche, die Ihnen P der beiden CIs geben, die sich kaum berühren, liegen in Ihrem Fall jedoch unter 0,05.
Durch eine Änderung der Variablen von der blauen / roten zur grünen Achse können Sie dieses Volumen mithilfe eines univariaten statt eines multivariaten Gaußschen integrieren. Die neue Varianz ist die gepoolte Varianz aus der Antwort von @ Sextus-Empiricus.
Selbst wenn wir den Unterschied zwischen Vertrauen und Wahrscheinlichkeit ignorieren, besteht die Überlappung aus Punkten, für die sowohl die rote als auch die blaue Wahrscheinlichkeit größer als 0,05 sind. Dies bedeutet jedoch nicht, dass die Wahrscheinlichkeit für beide größer als 0,05 ist. Wenn beispielsweise sowohl die rote als auch die blaue Wahrscheinlichkeit 0,10 betragen, beträgt die gemeinsame Wahrscheinlichkeit (unter der Annahme der Unabhängigkeit) 0,01. Wenn Sie über die gesamte Überlappung integrieren, beträgt diese weniger als 0,01.
Wenn Sie sich die Überlappung ansehen, sehen Sie Punkte, bei denen die Differenz weniger als zwei Standardabweichungen beträgt. Denken Sie jedoch daran, dass die Varianz der Differenz zwischen zwei Variablen die Summe der einzelnen Varianzen ist. Sie können also im Allgemeinen eine Faustregel verwenden: Wenn Sie zwei verschiedene Populationen vergleichen möchten, indem Sie nach überlappenden CI suchen, müssen Sie die Größe jedes CI durch dividieren$\sqrt 2$: Wenn die Varianzen ähnliche Größen haben, ist die Varianz der Differenz doppelt so groß wie die einzelnen Varianzen und die Standardabweichung $\sqrt 2$ mal so groß.