Direkt zum Inhalt
Login erforderlich
Dieser Artikel ist Abonnenten mit Zugriffsrechten für diese Ausgabe frei zugänglich.

Methodenkritik: Ein Fehler kommt selten allein

Trau keiner Studie, die nicht mehrfach repliziert wurde! Denn ein neuer Befund ist oft nur das Produkt aus Zufall und der Bevorzugung vermeintlich spektakulärer Befunde.
Lob des Irrtums

Die meisten wissenschaftlichen Studien haben nur eine beschränkte Halbwertzeit. Was heute als Sensation durch die Medien geht – "Langlebigkeits-Gen gefunden!" – ist morgen bereits vergessen und übermorgen widerlegt. Bei einigen Themen produziert die Wissenschaft am laufenden Band ­Studien, die sich mit großer Euphorie diametral widersprechen.

Eigentlich dürfte es derartige Schwankungen nicht geben. Vor allem nicht in der medizini­schen Forschung: Wer etwa heute glaubt, ein neues Heilmittel gefunden zu haben, muss seine Erkenntnisse aufwändig dokumentieren. In den wissenschaftlichen Journalen wird jedes Manuskript von mehreren Experten aus dem Fachgebiet geprüft. In der Regel genügt es, wenn einer davon das Manuskript für mangelhaft hält, um es abzulehnen. Das soll verhindern, dass fehlerhafte Forschungsergebnisse unberechtigte Hoffnungen wecken.

Theoretisch ist dieses System gut gegen Irrtümer gewappnet. Aber die Praxis ist ein wahres Fehlerfiasko: Das jedenfalls geht aus den Forschungen des griechisch-amerikanischen Mediziners John Ioannidis hervor, der die Veröffentlichungen seiner Kollegen erst an der US-amerikanischen Harvard University, später am National Institute of Health statistisch auswertete.

Ioannidis publizierte seine Arbeit 2005 unter dem Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind". Der Großteil aller Studien, behauptet der Mediziner, sei wertlos, weil sie Ergebnisse von zu wenigen Probanden auswerten oder keine Kontrollgruppen anlegen. Es sind Studien, bei denen ein, zwei Dutzend junge Männer ins Labor geholt und vor den Vi­deospielmonitor gesetzt werden, während der Forscher ihre Hirnströme untersucht.

Bei derart wenigen Probanden kann alles Mögliche passieren; eine solche Gruppe ist viel zu klein, um das Ergebnis gegen statistische Ausreißer oder Messfehler abzusichern. Fallen nur zwei der Videospieler in einer solchen Gruppe durch Aggressionen auf, heißt es hinterher, "zehn Prozent aller jungen Männer werden durch Videospiele aggressiv". Werden solche Studien später wiederholt, kommt es oft zu völlig anderen Resultaten. Eigentlich sind Studien mit wenigen Probanden und ohne Kontrollgruppe fahrlässig, doch sie sind vergleichsweise billig, und sie liefern die spektakulärsten Ergebnisse. Und sie machen 80 Prozent (!) aller veröffentlich­ten Arbeiten aus.

Aber selbst Studien auf höchstem wissenschaftlichem Niveau – groß angelegt, mit neutraler Kontrollgruppe – sind häufig fehlerhaft ...

Dieser Beitrag ist ein leicht gekürzter Auszug aus Lob des Irrtums. Warum es ohne Fehler keinen Fortschritt gibt von Jürgen Schaefer, erschienen bei C. Bertelsmann, München 2014

Kennen Sie schon …

Spektrum - Die Woche – 15/2021

Jetzt neu: @spektrum hat das Wichtigste der Woche für Sie gebündelt. Wieso manche Impfstoffe erst nach zwei Dosen so richtig wirken und warum alles immer komplizierter wird, lesen Sie in dieser Ausgabe (€).

Spektrum Kompakt – Sieh mich an - Was unser Gesicht verrät

Freude oder Wut, Trauer, Glück oder Ekel: Unser Gesicht verrät viel über unser aktuelles Innenleben, bei manchen Menschen mehr, bei anderen weniger. Doch wie verlässlich sind die Interpretationen wirklich?

Spektrum - Die Woche – 13/2021

Fünf wesentliche Gründe, warum eine Covid-Herdenimmunität wahrscheinlich unmöglich ist, erfahren Sie in dieser Ausgabe: Außerdem: Warum es wichtig ist, sich weiter an die AHA-Regeln zu halten.

Lesermeinung

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Leserzuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Leserzuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmer sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Lesermeinungen können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

  • Quellen

Ioannidis, J. P. A.: Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. In: The Journal of the American Medical Association 294, S. 218–228, 2005

Ioannidis, J. P. A.: Why Most Published Research Findings Are False. In: PLoS Medicine 2, e124, 2005

Young, N. S. et al.: Why Current Publication Practices May Distort Science. In: PLoS Medicine 5, e201, 2008