Direkt zum Inhalt
Login erforderlich
Dieser Artikel ist Abonnenten mit Zugriffsrechten für diese Ausgabe frei zugänglich.

Methodenkritik: Ein Fehler kommt selten allein

Trau keiner Studie, die nicht mehrfach repliziert wurde! Denn ein neuer Befund ist oft nur das Produkt aus Zufall und der Bevorzugung vermeintlich spektakulärer Befunde.
Lob des IrrtumsLaden...

Die meisten wissenschaftlichen Studien haben nur eine beschränkte Halbwertzeit. Was heute als Sensation durch die Medien geht – "Langlebigkeits-Gen gefunden!" – ist morgen bereits vergessen und übermorgen widerlegt. Bei einigen Themen produziert die Wissenschaft am laufenden Band ­Studien, die sich mit großer Euphorie diametral widersprechen.

Eigentlich dürfte es derartige Schwankungen nicht geben. Vor allem nicht in der medizini­schen Forschung: Wer etwa heute glaubt, ein neues Heilmittel gefunden zu haben, muss seine Erkenntnisse aufwändig dokumentieren. In den wissenschaftlichen Journalen wird jedes Manuskript von mehreren Experten aus dem Fachgebiet geprüft. In der Regel genügt es, wenn einer davon das Manuskript für mangelhaft hält, um es abzulehnen. Das soll verhindern, dass fehlerhafte Forschungsergebnisse unberechtigte Hoffnungen wecken.

Theoretisch ist dieses System gut gegen Irrtümer gewappnet. Aber die Praxis ist ein wahres Fehlerfiasko: Das jedenfalls geht aus den Forschungen des griechisch-amerikanischen Mediziners John Ioannidis hervor, der die Veröffentlichungen seiner Kollegen erst an der US-amerikanischen Harvard University, später am National Institute of Health statistisch auswertete.

Ioannidis publizierte seine Arbeit 2005 unter dem Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind". Der Großteil aller Studien, behauptet der Mediziner, sei wertlos, weil sie Ergebnisse von zu wenigen Probanden auswerten oder keine Kontrollgruppen anlegen. Es sind Studien, bei denen ein, zwei Dutzend junge Männer ins Labor geholt und vor den Vi­deospielmonitor gesetzt werden, während der Forscher ihre Hirnströme untersucht.

Bei derart wenigen Probanden kann alles Mögliche passieren; eine solche Gruppe ist viel zu klein, um das Ergebnis gegen statistische Ausreißer oder Messfehler abzusichern. Fallen nur zwei der Videospieler in einer solchen Gruppe durch Aggressionen auf, heißt es hinterher, "zehn Prozent aller jungen Männer werden durch Videospiele aggressiv". Werden solche Studien später wiederholt, kommt es oft zu völlig anderen Resultaten. Eigentlich sind Studien mit wenigen Probanden und ohne Kontrollgruppe fahrlässig, doch sie sind vergleichsweise billig, und sie liefern die spektakulärsten Ergebnisse. Und sie machen 80 Prozent (!) aller veröffentlich­ten Arbeiten aus.

Aber selbst Studien auf höchstem wissenschaftlichem Niveau – groß angelegt, mit neutraler Kontrollgruppe – sind häufig fehlerhaft ...

Dieser Beitrag ist ein leicht gekürzter Auszug aus Lob des Irrtums. Warum es ohne Fehler keinen Fortschritt gibt von Jürgen Schaefer, erschienen bei C. Bertelsmann, München 2014
6/2014

Dieser Artikel ist enthalten in Gehirn&Geist 6/2014

Kennen Sie schon …

22/2020

Spektrum - Die Woche – 22/2020

Lesen Sie in dieser Ausgabe, warum man Fledermäuse am besten in Ruhe lässt. Außerdem: was bisher über das Kawasaki-Syndrom im Zusammenhang mit Covid-19 bekannt ist und eine Reise in die Badlands.

17/2020

Spektrum - Die Woche – 17/2020

Lesen Sie in dieser Ausgabe über das Blaumeisensterben, Gravitationswellen und den gar nicht mehr so launischen April.

13/2020

Spektrum - Die Woche – 13/2020

Lesen Sie in dieser Ausgabe über die neue CRISPR-Welt, die Hüter der Vielfalt und wie man Kindern das Coronavirus erklärt

Lesermeinung

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Leserzuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Leserzuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmer sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Lesermeinungen können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

  • Quellen

Ioannidis, J. P. A.: Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. In: The Journal of the American Medical Association 294, S. 218–228, 2005

Ioannidis, J. P. A.: Why Most Published Research Findings Are False. In: PLoS Medicine 2, e124, 2005

Young, N. S. et al.: Why Current Publication Practices May Distort Science. In: PLoS Medicine 5, e201, 2008