Comment vérifier si la randomisation était correcte
Les essais contrôlés randomisés (ECR), dans lesquels les participants sont répartis au hasard dans 2 groupes ou plus et reçoivent différents traitements ou interventions, pour évaluer lequel est le meilleur, sont couramment réalisés.
Pour ces ECR, il est maintenant recommandé de ne pas effectuer de test d'hypothèse pour les différences dans les paramètres de base, car toute différence sera due uniquement au hasard.
Cependant, il peut y avoir diverses raisons pour lesquelles le processus de randomisation peut échouer ou ne pas avoir été approprié. Quelles mesures faut-il prendre pour s'assurer que ce n'est pas le cas avant d'analyser les données d'un ECR?
Dans le même temps, il est recommandé de vérifier les paramètres de base pour voir "si les tailles d'effet sont importantes et significatives" ( voir ici ). Cependant, cela n'est souvent pas fait dans les rapports d'ECR. Cela ne devrait-il pas être souligné comme une étape essentielle?
Pour clarifier, nous parlons d'études réalisées par d'autres que nous devons revoir. S'il n'est pas possible de tester l'adéquation de la randomisation après la fin de l'étude, ne devrions-nous pas effectuer des tests d'hypothèse sur les paramètres de base clés pour déterminer s'il existe des différences importantes entre les groupes?
Merci pour votre perspicacité.
Réponses
La meilleure façon de générer une "randomisation reproductible" est d'utiliser un algorithme de randomisation scripté dans un langage de programmation statistique et de vous assurer de "définir la graine" pour la randomisation. Par exemple, supposons que vous souhaitiez une randomisation reproductible Rlà où vous sélectionnez$t=40$ objets de traitement aléatoires d'un plus grand groupe de $n=100$objets. Cela pourrait être implémenté avec un code comme celui-ci.
#Generate randomisation
#Seed was determined from a call to runif(1)*.Machine$integer.max
set.seed(1825154847)
t <- 40
n <- 100
RAND <- sort(sample.int(n, size = t, replace = FALSE))
#Show the values of the treatment group
RAND
[1] 6 9 16 18 20 22 23 28 30 31 32 35 39 40 42 43 44 45 47 50
53 64 67 68 71 72 73 75 79 82 83 84 85 86 90 93 94 96 99 100
Quant à savoir comment vous savez qu'il s'agit d'une "randomisation appropriée", cela dépend de deux choses: (1) votre confiance dans le générateur de nombres pseudo-aléatoires sous-jacent dans le logiciel que vous utilisez; et (2) votre confiance que la graine a été déterminée indépendamment des données. En ce qui concerne le premier problème, les méthodes d'échantillonnage dans les langages statistiques comme Rsont construites sur des générateurs de nombres pseudo-aléatoires qui doivent passer des suites de "tests de randomisation". Ces tests mesurent les résultats du PRNG par rapport à divers tests statistiques pour s'assurer qu'il n'y a pas de preuve significative de modèles non aléatoires. Cela est généralement suffisant pour donner à l'utilisateur l'assurance qu'il n'y a pas de modèles systématiques dans le PRNG qui faussent l'ECR. En ce qui concerne le deuxième problème, il s'agit en grande partie de faire confiance à la personne qui a écrit le test, bien que si cela pose un problème, il est possible d'imposer d'autres protocoles pour choisir la graine (par exemple, en utilisant un véritable générateur de nombres aléatoires avec les témoins).
En ce qui concerne votre deuxième point, je ne suis pas sûr de ce que vous voulez dire, mais je suis certainement d’accord avec l’opinion selon laquelle les tests post hoc de randomisatoin sont déconseillés et ne devraient pas être utilisés. Lors de la réalisation de tests d'hypothèses statistiques pour les «effets» d'un traitement, les mises en garde habituelles sur les résultats doivent être gardées à l'esprit - en particulier la différence entre «statistiquement significative» (c'est-à-dire, une preuve significative d'une taille d'effet non nulle), par rapport «importance pratique» (c.-à-d. ampleur substantielle de la taille de l'effet). La randomisation dans l'ECR est un protocole pour supprimer les voies causales des variables de confusion potentielles aux traitements, pour aider à faire des inférences causales à partir des inférences statistiques. Cela ne change rien à la prudence normale requise pour l'interprétation des aspects statistiques des inférences.
Enfin, il est important de garder à l'esprit que si l'on souhaite randomiser les traitements, tout en «équilibrant» certaines covariables, cela peut être fait en utilisant la randomisation par blocs . C'est la bonne méthode de randomisation à utiliser si vous voulez équilibrer certaines covariables tout en conservant des propriétés de randomisation souhaitables - c'est bien mieux que de faire un simple échantillon aléatoire puis d'effectuer des vérifications post hoc de l'équilibre. Par exemple, si vous avez un groupe global qui est également composé d'hommes et de femmes, et que vous souhaitez qu'un groupe de traitement et de contrôle ait également un nombre égal d'hommes et de femmes, vous pouvez le faire en formant des "blocs" de paires homme-femme puis allouer au hasard aux groupes à partir de ces blocs. (Une description complète du processus dépasse le cadre de cette réponse, mais recherchez-la si vous êtes intéressé.)
Si vous exécutez l'expérience
Si vous craignez que la randomisation ne soit implémentée correctement, il est généralement plus efficace de faire attention au front-end pour s'assurer que la randomisation est bien faite, que d'essayer de la détecter au back-end. Il y a plusieurs raisons à cela. Premièrement, la détection de l'échec de la randomisation est difficile, sujette aux erreurs et ambiguë. Deuxièmement, même si vous aviez la preuve que la randomisation a échoué, que feriez-vous? Ce n'est pas clair et tout ce que vous avez fait à ce moment-là serait sur un terrain instable.
Il est probablement préférable de mettre votre énergie à revoir la stratégie de randomisation, à vous assurer qu'elle est appropriée et à vous assurer qu'elle est correctement mise en œuvre.
Si vous analysez une expérience menée par d'autres
Que vous deviez ou non tester un échec de la randomisation est une question d'opinion. Cela peut dépendre de votre évaluation de la probabilité d'échec de la randomisation.
Mon sentiment est que les tests post-hoc pour un échec de la randomisation pourraient ne pas avoir beaucoup de sens, en l'absence d'une raison spécifique de soupçonner un échec de la randomisation. Si vous ne croyez pas que les expérimentateurs ont effectué la randomisation correctement, pourquoi pensez-vous qu'ils ont fait autre chose correctement?
Si vous faites détecter une défaillance de la randomisation, il n'y a pas une grande réponse. Si vous savez que la randomisation n'a pas été effectuée correctement, vous ne disposez pas d'un essai contrôlé randomisé. Vous pouvez essayer de contrôler les variables qui montrent une différence entre les deux groupes, mais à ce stade, vous en faites essentiellement une étude observationnelle, et qui veut dire que vous avez contrôlé tous les facteurs de confusion possibles? Si un échec de la randomisation a causé des différences systématiques entre les groupes de traitement et de contrôle dont vous êtes au courant, il peut bien y avoir d'autres différences systématiques dont vous n'êtes pas au courant. C'est donc une situation délicate.
Une autre possibilité est que vous pensez peut-être que la randomisation a été effectuée correctement, mais que vous avez eu de la malchance avec la scission entre le groupe de traitement et le groupe témoin et une scission improbable a provoqué un déséquilibre entre les deux groupes: par exemple, le traitement a peut-être eu beaucoup plus de personnes âgées que le témoin. groupe, juste par malchance. Cela pourrait arriver. Si la taille de l'échantillon est grande, les chances qu'il y ait un déséquilibre important sont très faibles, nous pouvons donc nous demander s'il vaut la peine de s'en inquiéter. C'est peut-être le seul cas où vous pourriez envisager de contrôler ce facteur (âge). Cependant, nous savons également que la probabilité que cela se produise par pur hasard est très faible, il est donc douteux que cela vaille la peine de s'inquiéter de ces événements à très faible probabilité. Il existe de nombreux autres événements à très faible probabilité dont vous ne vous inquiétez probablement pas, donc nous ne savons pas pourquoi nous choisirions celui-ci.