Spielt Extra-Credit mit der Wissenschaft?

Feb 19 2016
College-Studenten, die freiwillig an akademischen Experimenten teilnehmen, um Extrapunkte zu bekommen, repräsentieren nicht gerade die Menschheit. Und das ist ein Problem für die Forschung.
Es ist gängige Praxis für US-College-Studenten, oft diejenigen, die Einführungskurse in Psychologie belegen, zusätzliche Punkte für die Teilnahme an einem Experiment zu erhalten. Skynesher/Getty

Eine Studie aus dem Jahr 2014, die die Sichtweise von Männern auf Vergewaltigung untersuchte, brachte eine alarmierende Statistik hervor, obwohl dies nicht der Sinn der Studie war. Forscher der University of North Dakota wollten wissen, ob die Formulierung von Umfragefragen die Selbstauskunft von Männern über Vergewaltigungsabsichten beeinflusst und was dies über die Psychologie sexueller Übergriffe aussagen könnte.

Also fragten sie Männer, ob sie ohne Konsequenzen jemals „eine Frau vergewaltigen“ würden, worauf 13,6 Prozent von 73 Probanden antworteten, dass sie dies tun würden. Als „eine Frau vergewaltigen“ in „eine Frau zum Geschlechtsverkehr zwingen“ geändert wurde, stiegen die Ja-Stimmen auf 31,7 Prozent. Ein eindeutiger Effekt. Die Forscher verglichen dann ...

Warte ab.

Fast ein Drittel der Männer würde sexuelle Übergriffe begehen, wenn sie wüssten, dass sie damit durchkommen?

Es ist ein erschütterndes Stück Daten. Es kann auch ungenau sein. Das Problem ist die Zusammensetzung der Probanden in der Studie: Alle waren College-Studenten, die für ihre Teilnahme zusätzliche Punkte erhalten haben.

Das Problem mit Themenpools

Die Forschung 2014 ist in ihrer Themenauswahl nicht einzigartig. In den Vereinigten Staaten sind die meisten Probanden in der Psychologieforschung College-Studenten, oft diejenigen, die Einführungskurse in Psychologie belegen. 

Viele Universitäten unterhalten Fächerpools dieser Studierenden, die sich entweder für die Teilnahme entscheiden oder als Kursvoraussetzung teilnehmen müssen.

Laut Dr. Laura Walker, Professorin an der School of Family Life der Brigham Young University, die die Auswirkungen von Fächergruppen auf Forschungsergebnisse untersucht hat, handelt es sich nicht ausschließlich um ein US-Phänomen. Sie sagt in einer E-Mail, dass europäische Forscher auch College-Studenten einsetzen, aber das ist weniger verbreitet als in den Vereinigten Staaten.

Im Idealfall wählen Forscher, die menschliche Probanden verwenden, diese Probanden zufällig aus der zu untersuchenden Population – der Zielpopulation – mit dem Ziel aus, eine repräsentative Stichprobe dieser Population zu erstellen. Die zufällige Auswahl verringert die Wahrscheinlichkeit, dass Probanden, die bestimmte Merkmale teilen, zu rekrutiert werden, und ermöglicht es den Forschern, ihre stichprobenbasierten Ergebnisse auf die Zielpopulation zu verallgemeinern.

Wenn die Probanden nicht ausreichend repräsentativ sind, tritt eine Stichprobenverzerrung auf. Bei der Stichprobenverzerrung sind einige Segmente der untersuchten Population überrepräsentiert und andere unterrepräsentiert, was zu Ergebnissen führt, die nicht unbedingt auf die untersuchte Population als Ganzes zutreffen. Diese Ergebnisse können nicht genau verallgemeinert werden. 

Da die sozialwissenschaftliche Forschung und insbesondere die psychologische Forschung oft versucht , Schlussfolgerungen über die menschliche Natur zu ziehen, ist die untersuchte Population oft die „Menschheit“. In diesem Zusammenhang werden universitäre Fächerpools zu äußerst problematischen Datenquellen.

Laut dem Pell Institute stammen US-College-Studenten in der Regel aus relativ wohlhabenden Familien und sind zwischen 18 und 24 Jahre alt. Sie sind in der Regel weiß, berichtet das National Center for Education Statistics . Sie neigen auch dazu, SONDERLICH zu sein: Die Mitglieder dieses Themenpools stammen überwiegend aus westlichen, gebildeten, industrialisierten, reichen und demokratischen Gesellschaften. Dieses letzte Attribut, so der Psychologieprofessor Dr. Joseph Henrich von der University of British Columbia und seine Kollegen, macht sie möglicherweise zur am wenigsten repräsentativen Stichprobe der Menschheit, die man sich vorstellen kann .

Und das sind College-Studenten im Allgemeinen.

Verschiebung in Richtung Extra-Guthaben

Da einige in der Branche den Kursvoraussetzungen -Ansatz zur Bestückung von Fächerpools als Zwang betrachten und sich über die Freiwilligkeit der Forschungsteilnahme hinwegsetzen, haben die Gezeiten begonnen, sich dem Extra-Credit-Modell zuzuwenden. Dies stellt eine große, leicht verfügbare, kostengünstige Untergruppe der menschlichen Bevölkerung bereit, an jeder gegebenen Studie teilzunehmen, jedoch freiwillig.

Wenn College-Studenten nicht repräsentativ für die Menschheit als Ganzes sind, sind College-Studenten, die sich freiwillig für zusätzliche Credits melden, dies noch weniger. Sie sind nicht einmal repräsentativ für College-Studenten insgesamt.

Laut Walker sind diese Freiwilligen wahrscheinlich weiblich und haben höhere Noten. Sie neigen auch dazu, selbstmotivierter zu sein als ihre nicht ehrenamtlich tätigen Kollegen, was weitreichende Auswirkungen haben kann. Dr. Luc Pelletier, Psychologieprofessor an der University of Ottowa, stellt fest, dass Unterschiede in der „Motivationsorientierung“ mit Unterschieden in Persönlichkeitsmerkmalen wie Belastbarkeit, Intensität, Neugier und allgemeinem Wohlbefinden in Verbindung gebracht wurden.

Wenn Techniken zur Rekrutierung von Personen also Motivation ins Spiel bringen, ist Stichprobenverzerrung immer ein Problem – es sei denn, die Zielpopulation teilt die Motivationsorientierung, die durch den Rekrutierungsprozess angezogen wird.

In einer Studie , die 2005 in Teaching of Psychology veröffentlicht wurde, testeten Walker und Kollegen, ob der Extra-Credit-Anreiz zu repräsentativen Stichproben der gesamten Studentenpopulation führt. Studenten der Einführungspsychologie an einer Universität im Mittleren Westen wurden zusätzliche Punkte als Gegenleistung für die Forschungsteilnahme angeboten. Für jede Forschungsstunde erhielt ein Student am Ende des Semesters zusätzlich zwei Punkte, bis zu 10 Punkte. (Die Noteninflation ist ein zusätzliches Problem im Extra-Credit-Modell.)

Von 193 Schülern in der Klasse meldeten sich 72 Schüler freiwillig zur Teilnahme im Austausch für Kurspunkte. Von diesen Freiwilligen erzielten 70 Prozent gute oder sehr gute Noten, 28 Prozent durchschnittliche Noten und 3 Prozent unterdurchschnittliche Noten.

Zwischen Freiwilligen und Nicht-Freiwilligen stellten die Forscher Unterschiede „in allen Maßstäben der Klassenleistung und der akademischen Motivation“ fest. Die Schüler, die am stärksten motiviert waren, im Unterricht etwas zu leisten, waren auch am motiviertesten, zusätzliche Punkte zu erwerben. Infolgedessen waren Leistungsträger in der Stichprobe der Zielpopulation überrepräsentiert.

Während viele Forscher glauben, dass Themenpools die Wahrscheinlichkeit einer Stichprobenverzerrung erhöhen können, stimmt nicht jeder zu, dass zusätzliche Punkte das Problem sind. Pelletier führte eine Studie über die Auswirkungen von Belohnungen für die Teilnahme an psychologischer Forschung durch und stellte fest, dass das Fehlen externer Anreize zu einer größeren Stichprobenverzerrung führte.

„Wenn keine Belohnungen oder Anreize angeboten werden, sind Teilnehmer, die für eine bestimmte Aufgabe oder die Studie selbst motivierter sind, möglicherweise eher geneigt, an einer Studie teilzunehmen; Teilnehmer, die für die Studie oder die Forschung im Allgemeinen weniger motiviert sind, nehmen möglicherweise weniger wahrscheinlich teil “, sagt Pelletier in einer E-Mail.

„Wenn daher keine Anreize angeboten werden, sind Proben möglicherweise weniger repräsentativ für die Weltbevölkerung“, erklärt er.

Pelletiers Argumentation lautet: Menschen, die sich selbst zur Teilnahme motivieren, werden dies trotzdem tun, aber „das Anbieten eines zusätzlichen Kredits stellt eine externe Motivationsquelle für die Personen dar, die sonst möglicherweise nicht daran interessiert waren, teilzunehmen“, was möglicherweise zu einem Mehr führt Motivations-ausgewogene Stichprobe.   

Ob das Stichprobenverfahren zu verzerrten Daten in der Studie der University of North Dakota führte, deren Zielpopulation „Männer“ waren, ist unklar. Hätte eine Gruppe von Männern mit sehr unterschiedlichem Alter, Hintergrund, sozioökonomischem Status, kultureller Erziehung und Bildungsniveau die Fragen der Umfrage zu Vergewaltigungsabsichten anders beantwortet als eine Gruppe besonders selbstmotivierter, leistungsstarker College-Studenten? Man darf hoffen. Eine andere Studie könnte etwas Klarheit bieten – außer dass diese Studie wahrscheinlich auf einer ähnlichen Stichprobe basiert, zumindest wenn sie in den Vereinigten Staaten durchgeführt wird. Das Subjekt-Pool-Modell ist gut verwurzelt.

Walker sieht jedoch einige mögliche Verbesserungen innerhalb des aktuellen Systems.  

„Forscher könnten innerhalb ihrer Studie Quotenstichproben verwenden, damit sich nur eine bestimmte Anzahl von Frauen oder europäischen Amerikanern anmelden kann. Professoren oder Studien könnten auch gezielt Männer oder solche aus weniger vertretenen Gruppen für ihre Studie rekrutieren“, schlägt sie vor.

„Probandenpools sind sicherlich nicht die ideale Stichprobe“, stellt Walker fest, „aber wenn einige dieser Schritte unternommen würden, würde sich die Situation leicht verbessern.“

Nun, das ist beunruhigend

Vieles von dem, was uns die Wissenschaft über die menschliche Natur sagt,  scheint  auf der Natur der gleichen 12 Prozent der Menschen auf der Welt zu beruhen.