Différence significative entre les groupes randomisés au départ?

Question

Un collège et moi menons une étude pilote dans une école dont le but est d'évaluer si un outil pédagogique «alternatif» est plus ou moins efficace que les méthodes pédagogiques traditionnelles. Les élèves de chaque classe participante ont été répartis au hasard en deux groupes. Au début de l'expérience (chaque classe a été testée à un moment différent en raison de contraintes organisationnelles), chaque étudiant a rempli un pré-test, puis les groupes ont été séparés. Un groupe a participé à une leçon traditionnelle basée sur le matériel du test, tandis que l'autre groupe a participé à une leçon alternative dans une pièce différente sans contact entre les groupes. Après les leçons, les élèves ont de nouveau rempli le même test, les questions étant classées différemment. Je voudrais lancer des tests t sur la différence entre le prétest et le post-test entre les deux groupes pour voir s'il y a une différence dans les connaissances acquises.

Même si l'affectation des étudiants en groupes était complètement aléatoire (j'ai utilisé un outil RNG en ligne pour randomiser les nombres correspondant au nombre d'étudiants dans chaque classe, et assigné les étudiants respectifs d'une liste à des nombres), la différence des scores de prétest entre les deux groupes sont significatifs, à savoir, les élèves affectés au groupe «cours traditionnels» ont des scores de pré-test significativement plus élevés au départ. La répartition de chaque étudiant dans un groupe n'a été révélée qu'après le prétest, et les étudiants n'ont pas été autorisés à communiquer pendant l'expérience.J'ai donc l'impression qu'il s'agit d'une anomalie statistique due à la petite taille de l'échantillon (35 par groupe jusqu'à présent).

Ma question est donc la suivante: cela invalide-t-il les inférences tirées de la comparaison des différences de score entre les deux groupes? Si oui, que pourrait-on faire pour y remédier? J'ai pensé à ajouter le score de base (prétest) pour chaque élève comme covariable dans un GLM, mais je ne suis pas certain que cela aiderait.

Merci d'avance!

Answer 1

La randomisation n'est pas censée équilibrer les différences entre les groupes. Comme l'assignation est aléatoire, il se produira 5% des fois que les différences seront significatives avec l'alpha = 0,05. La randomisation est là pour se débarrasser des biais systématiques et des effets non mesurés inconnus, en moyenne. Oui, il est possible que vos résultats soient dus au hasard, mais comme l'affectation était complètement aléatoire, nous pouvons calculer quelle est la probabilité que, s'il n'y a pas d'effet, les résultats se produisent par hasard (c.-à-d. Valeur p). Votre étude est donc toujours valable car c'est le caractère aléatoire de l'affectation qui rend les résultats valides, et non le solde après l'affectation.

En supposant que l'effet de votre traitement est constant pour tout le monde, les scores du prétest n'affecteront pas les scores de changement que vous testez. En général, tester les scores post-test ajustés par les scores pré-test est l'approche recommandée, car elle est plus sensible et comporte moins d'hypothèses. Si vous pensez que les scores pré-test affectent les scores post-test, voici ce que vous devez faire. Certaines personnes n'aiment pas cela parce qu'elles ne comprennent pas l'ajustement, mais statistiquement, c'est la bonne chose à faire. Il n'y a pas de différence entre le test des scores post-test ajustés par les scores du prétest, ou le test des scores de changement ajustés par les scores du pré-test.

Voir Vickers 2001 Analyse des essais contrôlés avec des mesures de base et de suivi https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1121605/ ce blog datacolada http://datacolada.org/39 Griffin et al 1999 https://deepblue.lib.umich.edu/handle/2027.42/73008ce fil Bonnes pratiques lors de l'analyse des conceptions de contrôle pré-post-traitement et bien plus

Answer 2

Vraisemblablement, c'est l' amélioration moyenne réalisée par chaque groupe qui compte. Ainsi, vous pouvez trouver le post-test moins les différences de pré-test$D_i$pour chaque étudiant. Ensuite, faites un test t à 2 échantillons sur les deux groupes de$D_i$s.

Étant donné que les deux groupes différaient en moyenne en ce qui concerne les scores pré-test, il semble possible que les scores pré-test d'un groupe aient également eu une variabilité plus élevée que l'autre. Il semble donc préférable d'utiliser des tests t de Welch qui ne seraient invalides par aucune différence de variabilités de post moins pré$D_i$s entre les groupes.

Remarque: Il est inhabituel que deux groupes randomisés diffèrent significativement au niveau de 5%, mais cela se produit (par définition) 5% du temps, comme le montre la simulation ci-dessous, et si vous regardez$D_i$Cela ne devrait pas poser de problème.

set.seed(921)
m = 10^5;  pv = numeric(m)
for (i in 1:m) {
 x = rnorm(70, 100, 15);  xr = sample(x)
 pv[i] = t.test(xr[1:35], xr[36:70])$p.val
}
mean(pv <= 0.05)
[1] 0.05091