10 Anzeichen dafür, dass die Studie gefälscht ist

Iss Schokolade , nimm ab! Im März 2015 schlugen die Ergebnisse einer neuen Studie von Forschern in Deutschland Wellen mit der Behauptung, dass Schokolade Teil eines Schlankheitsprogramms sein könnte. Die Studie, die von Johannes Bohannon, Forschungsdirektor des gemeinnützigen Institute of Diet and Health, durchgeführt wurde, zeigte, dass das Hinzufügen von Schokolade zu einer kohlenhydratarmen Ernährung den Gewichtsverlust tatsächlich steigerte.

Das einzige Problem war, dass die Studie völlig falsch war. Johannes Bohannon war eigentlich ein Wissenschaftsjournalist namens John Bohannon. Bohannon hat sich die Studie ausgedacht, um zu zeigen, wie wenig Faktencheck die Medien betreiben, wenn es um die Berichterstattung über Wissenschaft geht [Quelle: Hiltzik ].

Während die „Studie“ in den Boulevardmedien für Aufsehen sorgte, berichteten nur wenige, wenn überhaupt, seriöse Medien darüber. Vielleicht liegt das daran, dass sie die verräterischen Anzeichen einer gefälschten Studie erkannt haben. Lassen Sie uns herausfinden, welche das sind.

1. Es ist unwiederholbar
2. Es ist plausibel, nicht beweisbar
3. Die Proben sind ungesund
4. Etwas fehlt
5. Räuberische Verleger
6. Es beweist einen Punkt (Folge dem Geld)
7. Es ist selbst überprüft
8. Die Batterien sind schwach
9. Es ist zu neu
10. Es ist eine coole Geschichte

Alle machen Studien. Wenn Sie sehen, wie Babys immer wieder ihre Schnabeltassen von ihren Hochstühlen fallen lassen, beteiligen sie sich an einem der folgenreichsten Experimente ihres Lebens. Das Objekt ihrer Untersuchung? Schwerkraft .

Egal wie oft wir Tassen fallen lassen, sie fallen immer zu Boden. Die Tatsache, dass dieses Experiment endlos und von jedem mit demselben Ergebnis wiederholt werden kann, ist eines der Grundprinzipien jeder Studie. Egal wie überzeugend die Ergebnisse einer Studie sein mögen, wenn sie nicht von Peer-Forschern wiederholt werden kann, bedeutet das, dass sie nicht validiert werden kann.

Um auf dieses Problem hinzuweisen, koordinierte das Center for Open Science 270 Forscher in einem massiven Projekt, um die Ergebnisse von 100 veröffentlichten Studien auf dem Gebiet der Psychologie zu reproduzieren. Im Jahr 2015 berichtete das Zentrum nach jahrelanger Arbeit, dass mehr als die Hälfte der Studien nicht wiederholt werden konnten, weil die dafür gesammelten Beweise nicht so stark waren wie ursprünglich behauptet.

Eine der von ihnen getesteten Studien sollte beispielsweise feststellen, ob es Männern schwerer fällt, sexuelle Signale von Freundlichkeit zu unterscheiden. Dem Aufbau der ursprünglichen Studie folgend zeigte das Center for Open Science Testpersonen eine Reihe von Fotos von Frauen mit unterschiedlichen Gesichtsausdrücken.

Während die ursprüngliche Studie ergab, dass Männer in der Tat Trottel darin waren, die Hinweise zu treffen, konnte der Folgetest der Studie diese Ergebnisse nicht replizieren. Es ist nicht klar, ob dies an kulturellen Unterschieden zwischen der ersten und zweiten Studie (eine Studie wurde in Großbritannien, die andere in den USA durchgeführt) oder an der zwischen den Studien verstrichenen Zeit lag [Quelle: Firger ]. So oder so, ein Befund, der nicht reproduziert werden kann, ist keiner für die Ewigkeit.

Sehr ernste Menschen in weißen Laborkitteln, die sich nachdenklich über Reagenzgläser beugen – das ist das Bild, das uns oft in den Sinn kommt, wenn wir an eine wissenschaftliche Studie denken. Aber das ist nur eine Art von Studie – ein Laborexperiment.

Eine andere Art von Studie wird "Beobachtungsstudie" genannt. Das ist der Zeitpunkt, an dem Forscher eine Gruppe von Testpersonen finden, ihnen viele Fragen stellen, die Antworten aufzeichnen und dann die Ergebnisse „data minen“, um zu sehen, was sie finden.

Es war einmal, dass Beobachtungsstudien darauf hindeuteten, dass eine „ Typ-A “-Persönlichkeit Sie einem höheren Risiko für einen Herzinfarkt aussetzt . Aber randomisierte klinische Folgestudien konnten diese Ergebnisse nicht wiederholen, und es ist jetzt bekannt, dass der ursprüngliche Befund völlig falsch war. Wie ist es passiert?

Beobachtungsstudien können natürlich enorm nützlich und aufschlussreich sein. Es besteht jedoch die Möglichkeit irreführender Ergebnisse. Ein Problem besteht darin, dass Sie in etwa 5 Prozent der Fälle zufällig statistisch signifikante Ergebnisse erhalten können. Wenn Sie also genügend Fragen stellen (und manchmal können diese Studien Tausende von Fragen umfassen), scheinen die Daten etwas Wichtiges zu liefern. Aber bei einer späteren Überprüfung oder Versuchen, die Studie zu wiederholen, sind die Ergebnisse möglicherweise nicht dieselben [Quelle: Miller und Young].

Eilmeldung: Eine neue Studie zeigt, dass die Art und Weise, wie Sie Ihre Jungfräulichkeit verloren haben, einen wichtigen Einfluss darauf hat, wie Sie Sex für immer erleben.

Überraschende Ergebnisse aus seltsamen Forschungsstudien sind heutzutage ein fester Bestandteil des Nachrichtenzyklus. Aber wenn Sie die eigentliche Forschungsstudie in die Hände bekommen, wird Sie das Design des Projekts vielleicht noch mehr überraschen als die Ergebnisse.

Die Sache an dieser Jungfräulichkeitsstudie von 2013 ist, dass ihre Probanden extrem homogen waren. Tatsächlich stellt sich heraus, dass sie es normalerweise sind, wenn es um Studien in Psychologie und Sozialwissenschaften geht.

Da viele dieser Studien von Akademikern durchgeführt werden, besteht die typische Stichprobenpopulation für solche Forschungen – Überraschung, Überraschung – aus College-Studenten. Das macht sie WEIRD – ein Akronym für westliche, gebildete und aus industrialisierten, reichen und demokratischen Ländern. Mit anderen Worten, nicht gerade repräsentativ für die globale Gesellschaft als Ganzes.

Um die Sache noch schlimmer zu machen, schlossen die Forscher in der Jungfräulichkeitsstudie Personen aus, die gewalttätige erste Begegnungen erlebt hatten, sowie alle, die etwas anderes als heterosexuellen Verkehr erlebten [Quelle: Brookshire ].

Wenn Sie also das nächste Mal die Eilmeldung über ein weiteres erstaunliches Ergebnis über menschliches Verhalten und menschliche Erfahrungen hören, nehmen Sie es mit einem Körnchen Salz , wenn Sie sich fragen, wer genau untersucht wurde.

Angenommen, Sie führen eine Studie mit einem neuen Medikament durch, um Schlaganfällen vorzubeugen . Sie haben 20 Mäuse: 10 bekommen das Medikament und die restlichen 10 in Ihrer Kontrollgruppe. Es ist eine kleine Lerngruppe, wirklich klein, aber dann ist dein Budget klein, und heutzutage macht es jeder so.

Sieben Ihrer Testmäuse geht es wirklich gut, aber leider sterben drei von ihnen an massiven Schlaganfällen. Wie geht's? Einfach. Lassen Sie sie einfach aus den Ergebnissen heraus. Ja, das ist richtig, wenn Sie Ihre Diagramme und Grafiken zusammenstellen, erwähnen Sie einfach nicht die verstorbenen Nagetiere. Jeder macht es heutzutage so.

Das ist wirklich passiert. Tatsächlich stellt sich heraus, dass dies in der Tierforschung wirklich ständig passiert. Glücklicherweise ließ der Wissenschaftler, der gebeten wurde, die Studie zu überprüfen, sie in diesem speziellen Fall nicht durch. Die drei toten Mäuse, betonte er, seien lebenswichtige Elemente der Studie. Tatsächlich zeigten sie, dass das neue Medikament eher schädlich als hilfreich sein könnte.

Dieser Wissenschaftler, Ulrich Dirnagl, und ein Kollege namens Malcolm MacLeod haben Alarm geschlagen über die laxen Standards, die in vielen Tierversuchsstudien gefunden wurden [Quelle: Couzin-Frankel ]. Hoffen wir, dass ihre Botschaft ankommt.

Da sind Sie also, ein junger Arzt, der Ihre Karriere auf den Weg bringt, als Sie eine E-Mail von „The Journal of Clinical Case Reports“ erhalten, in der Sie gebeten werden, einige Artikel einzureichen. Zufällig haben Sie einige interessante Fälle zu melden, also schreiben Sie sie auf und schicken sie ab. Zu Ihrer Freude werden sie akzeptiert. Eine schöne Ergänzung für Ihren Lebenslauf.

Dann kommt die Rechnung – laut Tagebuch schuldest du ihnen 2.900 Dollar! Schockiert schreibst du zurück, um zu sagen, dass du noch nie davon gehört hast, dass eine Veröffentlichung in Rechnung gestellt wird, und du nicht die Absicht hast, zu zahlen. Sie veröffentlichen Ihre Artikel trotzdem und bieten an, Ihre Rechnung auf 2.600 $ zu reduzieren. Nach einem Jahr des Ringens willigt die Zeitschrift schließlich ein, Ihre sogenannte Schuld zu „erlassen“ .

Willkommen in der schönen neuen Welt des Predatory Publishing, einer unerwarteten Folge der Open-Access-Bewegung, um wissenschaftliche Erkenntnisse breiter verfügbar zu machen. Jeffrey Beall, ein Forschungsbibliothekar, hat Aufzeichnungen über Veröffentlichungen geführt, die er für räuberisch hält. Er glaubt, dass es bis zu 4.000 davon geben könnte – das wären 25 Prozent aller Open-Access-Zeitschriften.

Es genügt zu sagen, dass Raubverlage sich mehr um ihre Gewinnspanne kümmern als um wissenschaftliche Strenge. Wenn Forscher zahlen können, können sie unabhängig von der Qualität ihrer Arbeit veröffentlicht werden. Dadurch hat sich die Zahl der veröffentlichten fragwürdigen Studien vervielfacht. Wenn Sie kein Experte auf einem bestimmten Gebiet sind, ist es möglicherweise schwierig zu sagen, welche Wissenschaft zuverlässig und welche Junk ist [Quelle: Kolata ].

Bekanntlich müssen Gelehrte publizieren oder untergehen, um in der Wissenschaft voranzukommen. Kein Wunder, dass Predatory Publishing in einer solchen Atmosphäre gedeiht. Käufer (und Leser) aufgepasst!

Eines Tages beschließen Sie, eine neue Kaugummimarke auszuprobieren, aber kurz nachdem Sie sie in den Mund gesteckt haben, brechen Sie in Nesselsucht aus. In der Notaufnahme teilt Ihnen der Arzt mit, dass Blutuntersuchungen eine Allergie gegen einen Inhaltsstoff des neuen Kaugummis ergeben. Aber nehmen wir an, Sie sind seltsam stur, und sagen wir, Sie mochten diesen Kaugummi auch wirklich. Oh, und Sie beschließen, neun weitere Ärzte aufzusuchen.

Acht von neun stimmen der ersten zu. Aber ein einsamer Arzt sagt nein, es ist nicht das Kaugummi, es ist nur ein Zufall. Tatsächlich glaubt er, dass Sie möglicherweise allergisch gegen Kauen oder Gehen oder gleichzeitiges Gehen und Kauen sind. Du magst seine Antwort , und du magst sein schickes Büro, aber du fragst dich langsam, wie er dafür bezahlt hat.

Bei dem Versuch herauszufinden, ob eine Studie gefälscht ist, ist ein gesunder Menschenverstand hilfreich. Wenn 99,9 Prozent der Experten auf einem bestimmten Gebiet eine Sache sagen und eine Handvoll anderer anderer Meinung sind, schauen Sie sich an, woher die Finanzierung der Skeptiker kommt. Mit anderen Worten, folgen Sie dem Geld.

Willie Soon ist einer der wenigen Forscher, die leugnen, dass menschliche Aktivitäten irgendetwas mit dem Klimawandel zu tun haben . Die Tatsache, dass er am Harvard-Smithsonian Center for Astrophysics arbeitet, verleiht seinen Meinungen ein gewisses Ansehen. Das Zentrum für Astrophysik hat jedoch eine distanzierte Beziehung zu Harvard, und die Forscher dort erhalten kein Gehalt und erhalten keine Mittel von der Universität.

Tatsächlich stellt sich heraus, dass der Großteil der Finanzierung von Soon aus Quellen wie Exxon Mobil und dem American Petroleum Institute stammt, unter anderem aus dem Energiesektor. Mit anderen Worten, die Leute, die für Soons Forschung bezahlen, sind genau die Leute, die am meisten investiert haben, um die menschliche Verantwortung für den Klimawandel zu widerlegen. Während Soon darauf besteht, dass die Quelle seiner Finanzierung keinen Einfluss auf seine Forschung hat, ist die Optik nicht zu seinen Gunsten [Quelle: Goldberg ].

Peer-Review: Es ist das Fundament seriöser wissenschaftlicher Veröffentlichungen. Die Idee ist, dass eine Studie, die von einem anderen Forscher auf demselben Gebiet sorgfältig geprüft und genehmigt wurde, gültig genug ist, um in einer angesehenen Zeitschrift veröffentlicht zu werden. Aber diese Idee gilt nur, wenn das Peer-Review -System selbst vertrauenswürdig ist.

Hynung-In Moon, Heilpflanzenforscher an einer Universität in Südkorea, hatte viel Glück mit den Rezensionen der Studien, die er im "The Journal of Enzyme Inhibition and Medicinal Chemistry" veröffentlichte. Abgesehen von ein paar Verbesserungsvorschlägen für seine Arbeiten wurden diese schnell genehmigt. Sehr schnell. Tatsächlich gingen die Peer-Reviews manchmal innerhalb von 24 Stunden, nachdem er sie verschickt hatte, an den Herausgeber der Zeitschrift zurück.

Der Redakteur wurde misstrauisch und fragte Moon, was los sei. Der Forscher gab zu, dass diese schnellen, zustimmenden Bewertungen von niemand anderem als ihm selbst kamen. Entsprechend der üblichen Praxis hatte die Zeitschrift Moon gebeten, einige potenzielle Gutachter vorzuschlagen. Als er dies tat, gab er ihnen eine Kombination aus echten und fiktiven Namen mit gefälschten Kontaktinformationen, einschließlich E-Mail-Adressen, die in Moons Posteingang gelangten [Quelle: Ferguson et al].

Es stellt sich heraus, dass einige der Systeme, die für die Überprüfung eingerichtet wurden, solche Schlupflöcher haben, und Moons Fall der Selbstüberprüfung ist keine isolierte Anomalie. Dies lässt uns die Möglichkeit, dass einige der Peer-Review-Studien, von denen wir hören, tatsächlich Peer-less sind.

Das Gebiet der Neurowissenschaften befindet sich in einer aufregenden Phase mit leistungsstarker neuer Technologie, die in der Lage ist, das Gehirn mit immer größerer Genauigkeit zu analysieren. Anhand von Scans untersuchten beispielsweise eine Reihe verschiedener Studien die Beziehung zwischen psychischer Gesundheit und abnormalem Gehirnvolumen. Viele, in der Tat die meisten von ihnen, fanden eine Korrelation .

Aber die überwältigende Geschwindigkeit, mit der sich diese Studien gegenseitig bestätigten, weckte die Neugier des Forschers John Ioannidis. Nach der Analyse der Daten stellte er fest, dass alle diese Studien zusammengenommen eine durchschnittliche statistische Aussagekraft von 8 hatten. Das klingt niedrig, und das ist es auch. Aber was bedeutet es?

Die statistische Aussagekraft einer Studie bezieht sich auf die Größe der verwendeten Stichproben und darauf, wie groß oder klein die Ergebnisse waren. Um es stark zu vereinfachen: Wenn Sie 10.000 Raucher und 10.000 Nichtraucher untersuchen und feststellen, dass 50 Prozent der Raucher Lungenkrebs entwickelten, während es nur 5 Prozent der Nichtraucher taten, dann hat Ihre Studie eine sehr hohe Aussagekraft. Sie hatten eine riesige Stichprobenpopulation, und die Ergebnisse waren ebenfalls riesig.

Aber wenn Sie 10 Raucher und 10 Nichtraucher untersuchen und feststellen, dass zwei der Raucher Lungenkrebs entwickelten und einer der Nichtraucher auch, dann haben Sie eine extrem schwache Studie. Die Stichprobengröße ist so gering, dass der Unterschied zwischen den beiden Gruppen bedeutungslos ist [Quelle: Yong ].

Um fair zu sein, die meisten Studien, denen eine geringe Aussagekraft vorgeworfen wird, sind nicht so lächerlich gering wie dieses fiktive Beispiel. Aber in den letzten Jahren haben besorgte Forscher auf die Prävalenz von Studien mit zu geringer Leistung hingewiesen. Ihre Botschaft? Es ist Zeit zum Einschalten!

Jeden zweiten Tag hören wir von einer neuen Studie, die herausgefunden hat, dass Vitamin X, Y oder Z Krebs, Alzheimer oder Autoimmunerkrankungen vorbeugt , und wir beeilen uns, riesige Mengen des Zeugs zu kaufen. Bevor Sie ein weiteres trendiges Nahrungsergänzungsmittel in den Mainlining aufnehmen, ist es ratsam, sich zurückzulehnen und eine Weile zu warten, um zu sehen, ob die nachfolgende Forschung seinen Wert stärkt oder entlarvt.

Die Medien leben vom Neuesten und Neuesten. Aber wenn es um die Wissenschaft geht, ist Neuheit nicht unbedingt etwas Gutes. Oft bedeutet es nur, dass die aufregenden Ergebnisse einer überraschenden neuen Studie zu neu sind, um schon widerlegt zu werden. Schauen Sie in ein paar Jahren noch einmal vorbei und sehen Sie, wie viele dieser Headliner-Forschungsergebnisse den Test der Zeit bestanden haben.

Was die Forschung anbelangt, so sind viele Medienberichte "erste Erkenntnisse". Erste Erkenntnisse sind genau das, erste. Sie müssen durch weitere Studien verifiziert werden, um zu sehen, ob die Ergebnisse reproduziert werden können. Häufig können sie es nicht sein – aber es kommt selten vor, dass Medien über negative Forschungsergebnisse berichten [Quelle: Crowe ]. Das liegt daran, dass sie nie so beliebt sind wie eine aufregende Neuentdeckung.

Die Aprilausgabe 2015 von „Nature“, einer der renommiertesten und renommiertesten wissenschaftlichen Zeitschriften der Welt, überraschte ihre Leserschaft mit den außergewöhnlichen Ergebnissen einer neuen Studie. Drachen seien keine mythischen Produkte der vormodernen Phantasie, sondern reale Kreaturen, die seit dem Mittelalter in einer Ruhephase verharren. Eines der besorgniserregendsten Ergebnisse war, dass es Beweise dafür gab, dass diese uralten Bestien kurz vor dem Erwachen stehen.

Das Veröffentlichungsdatum ist der offensichtliche Hinweis darauf, dass dieser Artikel ein ausgeklügelter Aprilscherz war . Aber trotz der Farce des Artikels weist er auf ein wichtiges Merkmal des Wissenschaftsjournalismus hin – Menschen mögen gute Geschichten. Wissenschaftler wissen das. Selbst die Veröffentlichung eines Artikels in einem Wissenschaftsjournal kann die Erstellung einer „schönen Geschichte“ erfordern, um die Ergebnisse zu erklären. Und je besser die Geschichte, desto wahrscheinlicher ist es, dass die Mainstream-Medien darüber berichten [Quelle: Firger ].

Aber wissenschaftliche Untersuchungen führen nicht immer zu guten Geschichten. In der Tat, meistens nicht. Viele wichtige Forschungsergebnisse sind höchst ergebnislos. Bestenfalls könnte es uns einen vorläufigen Einblick in eine mögliche Wahrheit geben. Meistens sagt es uns wenig oder gar nichts. Wenn es um Wissenschaft geht, hüte dich also vor guten Geschichten, Drachen hin oder her.

Anmerkung des Autors: 10 Anzeichen dafür, dass die Studie gefälscht ist

Ich bin so zynisch wie die nächste Person, aber die für diesen Artikel erforderliche Recherche hat mich mehr als einmal schockiert. Wie die meisten Menschen assoziiere ich Wissenschaft mit Strenge, daher war ich entmutigt, als ich von einigen der schäbigen, schlampigen und kompromittierten Arbeiten erfuhr, die durchgeführt werden. Aber ich nehme an, ich sollte es nicht sein. Wissenschaftler sind keine Roboter, die in hermetisch abgeschlossenen Umgebungen operieren. Sie unterliegen genauso der Käuflichkeit und kulturellen Trends wie alle anderen auch. Und am Ende habe ich vielleicht sogar noch mehr Respekt vor einer Untersuchungsmethode, die sich selbst in dem Maße überwacht, wie die Wissenschaft es tut. Es gibt eine Menge schlechter Wissenschaft da draußen, aber die Leute, die die Pfeife blasen, sind ... Wissenschaftler!

Zum Thema passende Artikel

Weitere tolle Links