Pourquoi la moyenne ± 2 * SEM (intervalle de confiance à 95%) se chevauche, mais la valeur p est de 0,05?
J'ai des données sous forme de deux listes:
acol = [8.48, 9.82, 9.66, 9.81, 9.23, 10.35, 10.08, 11.05, 8.63, 9.52, 10.88, 10.05, 10.45, 10.0, 9.97, 12.02, 11.48, 9.53, 9.98, 10.69, 10.29, 9.74, 8.92, 11.94, 9.04, 11.42, 8.88, 10.62, 9.38, 12.56, 10.53, 9.4, 11.53, 8.23, 12.09, 9.37, 11.17, 11.33, 10.49, 8.32, 11.29, 10.31, 9.94, 10.27, 9.98, 10.05, 10.07, 10.03, 9.12, 11.56, 10.88, 10.3, 11.32, 8.09, 9.34, 10.46, 9.35, 11.82, 10.29, 9.81, 7.92, 7.84, 12.22, 10.42, 10.45, 9.33, 8.24, 8.69, 10.31, 11.29, 9.31, 9.93, 8.21, 10.32, 9.72, 8.95, 9.49, 8.11, 8.33, 10.41, 8.38, 10.31, 10.33, 8.83, 7.84, 8.11, 11.11, 9.41, 9.32, 9.42, 10.57, 9.74, 11.35, 9.44, 10.53, 10.08, 10.92, 9.72, 7.83, 11.09, 8.95, 10.69, 11.85, 10.19, 8.49, 9.93, 10.39, 11.08, 11.27, 8.71, 9.62, 11.75, 8.45, 8.09, 11.54, 9.0, 9.61, 10.82, 10.36, 9.22, 9.36, 10.38, 9.53, 9.2, 10.36, 9.38, 7.68, 9.99, 10.61, 8.81, 10.09, 10.24, 9.21, 10.17, 10.32, 10.41, 8.77]
bcol = [12.48, 9.76, 9.63, 10.86, 11.63, 9.07, 12.01, 9.52, 10.05, 8.66, 10.85, 9.87, 11.14, 10.59, 9.24, 9.85, 9.62, 11.54, 11.1, 9.38, 9.24, 9.68, 10.02, 9.91, 10.66, 9.7, 11.06, 9.27, 9.08, 11.31, 10.9, 10.63, 8.98, 9.81, 9.69, 10.71, 10.43, 10.89, 8.96, 9.74, 8.33, 11.45, 9.61, 9.59, 11.25, 9.44, 10.05, 11.63, 10.16, 11.71, 9.1, 9.53, 9.76, 9.33, 11.53, 11.59, 10.21, 10.68, 8.99, 9.44, 9.82, 10.35, 11.22, 9.05, 9.18, 9.57, 11.43, 9.4, 11.45, 8.39, 11.32, 11.16, 12.47, 11.62, 8.77, 11.34, 11.77, 9.53, 10.54, 8.73, 9.97, 9.98, 10.8, 9.6, 9.6, 9.96, 12.17, 10.01, 8.69, 8.94, 9.24, 9.84, 10.39, 10.65, 9.31, 9.93, 10.41, 8.5, 8.64, 10.23, 9.94, 10.47, 8.95, 10.8, 9.84, 10.26, 11.0, 11.22, 10.72, 9.14, 10.06, 11.52, 10.21, 9.82, 10.81, 10.3, 9.81, 11.48, 8.51, 9.55, 10.41, 12.17, 9.9, 9.07, 10.51, 10.26, 10.62, 10.84, 9.67, 9.75, 8.84, 9.85, 10.41, 9.18, 10.93, 11.41, 9.52]
Un résumé des listes ci-dessus est donné ci-dessous:
N, Mean, SD, SEM, 95% CIs
137 9.92 1.08 0.092 (9.74, 10.1)
137 10.2 0.951 0.081 (10.0, 10.3)
Un test t non apparié pour les données ci-dessus donne une valeur p de 0,05:
f,p = scipy.stats.ttest_ind(acol, bcol)
print(f, p)
-1.9644209241736 0.050499295018989004
Je comprends de cette page et d'autres que signifie ± 2 * SEM (erreur standard de la moyenne calculée par SD / sqrt (N) ) donne une plage d'intervalle de confiance (IC) à 95%.
Je crois également que si les intervalles de confiance à 95% se chevauchent, la valeur P sera> 0,05.
J'ai tracé les données ci-dessus comme moyenne ± 2 * SEM :
Les intervalles de confiance à 95% se chevauchent. Alors pourquoi la valeur p atteint-elle un niveau significatif?
Réponses
Le chevauchement n'est qu'une règle empirique (stricte / inexacte)
Le point où les barres d'erreur ne se chevauchent pas est lorsque la distance entre les deux points est égale à $2(SE_1+SE_2)$. Donc, effectivement, vous testez si une sorte de score standardisé (distance divisée par la somme des erreurs standard) est supérieur à 2. Appelons cela$z_{overlap}$
$$ z_{overlap} = \frac{\vert \bar{X}_1- \bar{X}_2 \vert}{SE_1+SE_2} \geq 2$$
Si cela $z_{overlap} \geq 2$ alors les barres d'erreur ne se chevauchent pas.
L'écart type d'une somme linéaire de variables indépendantes
L'ajout des écarts-types (erreurs) ensemble n'est pas la manière typique de calculer l'écart-type (erreur) d'une somme linéaire (le paramètre $\bar{X}_1-\bar{X}_2$ peut être considérée comme une somme linéaire où l'un des deux est multiplié par un facteur $-1$) Voir aussi: Somme des variables non corrélées
Donc, ce qui suit est vrai pour les indépendants $\bar{X}_1$ et $\bar{X}_2$:
$$\begin{array}{} \text{Var}(\bar{X}_1-\bar{X}_2) &=& \text{Var}(\bar{X}_1) + \text{Var}(\bar{X}_2)\\ \sigma_{\bar{X}_1-\bar{X}_2}^2 &=& \sigma_{\bar{X}_1}^2+\sigma_{\bar{X}_2}^2\\ \sigma_{\bar{X}_1-\bar{X}_2} &=& \sqrt{\sigma_{\bar{X}_1}^2+\sigma_{\bar{X}_2}^2}\\ \text{S.E.}(\bar{X}_1-\bar{X}_2) &=& \sqrt{\text{S.E.}(\bar{X}_1)^2 + \text{S.E.}(\bar{X}_2)^2}\\ \end{array}$$
Mais non
$$\text{S.E.}(\bar{X}_1-\bar{X}_2) \neq {\text{S.E.}(\bar{X}_1) + \text{S.E.}(\bar{X}_2)}$$
Formule `` correcte '' pour comparer la différence de la moyenne de deux échantillons
Pour qu'un test t compare la différence des moyennes de deux populations , vous devez utiliser une formule telle que
Dans le cas le plus simple: $$t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{SE_1^2+SE_2^2}}$$ c'est lorsque nous considérons que les variances sont inégales ou lorsque la taille des échantillons est égale.
Si les tailles d'échantillon sont différentes et que vous considérez que la variance des populations est égale, vous pouvez alors estimer les variances pour les deux échantillons ensemble plutôt que séparément, et utiliser l'une des nombreuses formules pour la variance groupée comme
$$s_p = \sqrt{\frac{(n_1-1)s_1^2 +(n_2-1)s_2^2}{n_1+n_2-2}}$$
avec $$t = \frac{\bar{X}_1 - \bar{X}_2}{s_p \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$$
et avec $SE_1 = s_1/\sqrt{n_1}$ et $SE_2 = s_2/\sqrt{n_2}$ vous obtenez
$$t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{\frac{n_1+n_2}{n_1+n_2-2} \left( \frac{n_1-1}{n_2} SE_1^2 + \frac{n_2-1}{n_1} SE_2^2 \right)}}$$
Notez que la valeur $\sqrt{SE_1^2+SE_2^2}$ est plus petite que $SE_1+SE_2$, par conséquent $t>z_{overlap}$.
Sidenotes:
Dans le cas de la variance groupée, vous pourriez avoir une situation - bien que ce soit rare - que la variance du plus grand échantillon est plus grande que la variance du plus petit échantillon, et alors il est possible que $t<z_{overlap}$.
Au lieu de valeurs z et d'un test z, vous êtes en train de faire ( devrait faire ) un test t. Il se peut donc que les niveaux sur lesquels vous basez les intervalles de confiance pour les barres d'erreur (comme «95% équivaut à 2 fois l'erreur standard») seront différents pour le test t. Pour être juste, pour comparer des pommes avec des pommes, vous devez utiliser la même norme et baser également les niveaux de confiance des barres d'erreur sur un test t. Supposons donc que pour le test t également, le niveau limite qui se rapporte à 95% soit égal ou inférieur à 2 (c'est le cas pour les tailles d'échantillon supérieures à 60).
Si cela $t \geq 2$ alors la différence est significative (à un niveau de 5%).
L'erreur standard de la différence entre deux variables n'est pas la somme des erreurs standard de chaque variable. Cette somme surestime l'erreur pour la différence et sera trop prudente (prétend trop souvent qu'il n'y a pas de différence significative).
Donc $t>z_{overlap}$et peut conduire à une différence significative alors que les barres d'erreur se chevauchent. Vous n'avez pas besoin de barres d'erreur qui ne se chevauchent pas pour avoir une différence significative. Ce chevauchement est une exigence plus stricte et se produit lorsque la valeur p est$\leq 0.05$ (et ce sera souvent une valeur p inférieure).
La valeur p doit être considérée entre un IC et une valeur de paramètre, pas deux IC. En effet, le point rouge tombe entièrement en dehors du CI bleu, et le point bleu tombe entièrement en dehors du CI rouge.
Et il est vrai que sous l'hypothèse nulle, un tel événement se produirait 5% du temps:
- 2,5% du temps, vous obtenez un point au-dessus de l'IC à 95%
- 2,5% du temps, vous obtenez un point en dessous de l'IC à 95%
Si ce ne sont que les moustaches qui se chevauchent ou se touchent, alors l'hypothèse nulle produira ce résultat beaucoup moins souvent que 5%. C'est parce que (pour utiliser votre exemple) à la fois l'échantillon bleu devrait être faible, et en même temps l'échantillon rouge devrait être élevé (la hauteur exacte dépendrait de la valeur bleue). Vous pouvez l'imaginer comme un tracé gaussien multivarié 3D, sans biais puisque les deux erreurs sont indépendantes l'une de l'autre:
Le long de chaque axe, la probabilité de tomber en dehors de la région en surbrillance (l'IC) est de 0,05. Mais les probabilités totales des zones bleues et roses, qui vous donnent P des deux CI se touchant à peine, sont inférieures à 0,05 dans votre cas.
Un changement de variables des axes bleu / rouge à l'axe vert vous permettra d'intégrer ce volume en utilisant une gaussienne univariée plutôt que multivariée, et la nouvelle variance est la variance groupée de la réponse de @ Sextus-Empiricus.
Même si nous ignorons la différence entre la confiance et la probabilité, le chevauchement consiste en des points pour lesquels la probabilité rouge et la probabilité bleue sont supérieures à 0,05. Mais cela ne signifie pas que la probabilité des deux est supérieure à 0,05. Par exemple, si la probabilité rouge et bleue est de 0,10, alors la probabilité conjointe (en supposant l'indépendance) est de 0,01. Si vous intégrez sur tout le chevauchement, ce sera inférieur à 0,01.
Lorsque vous regardez le chevauchement, vous voyez des points pour lesquels la différence est inférieure à deux écarts types. Mais rappelez-vous que la variance de la différence entre deux variables est la somme des variances individuelles. Vous pouvez donc généralement utiliser une règle empirique selon laquelle si vous souhaitez comparer deux populations différentes en vérifiant le chevauchement des CI, vous devez diviser la taille de chaque CI par$\sqrt 2$: si les variances sont de tailles similaires, alors la variance de la différence sera deux fois les variances individuelles, et l'écart type sera $\sqrt 2$ fois plus grand.