Direkt zum Inhalt
Login erforderlich
Dieser Artikel ist Abonnenten mit Zugriffsrechten für diese Ausgabe frei zugänglich.

Methodenkritik: Ein Fehler kommt selten allein

Trau keiner Studie, die nicht mehrfach repliziert wurde! Denn ein neuer Befund ist oft nur das Produkt aus Zufall und der Bevorzugung vermeintlich spektakulärer Befunde.
Lob des Irrtums

Die meisten wissenschaftlichen Studien haben nur eine beschränkte Halbwertzeit. Was heute als Sensation durch die Medien geht – "Langlebigkeits-Gen gefunden!" – ist morgen bereits vergessen und übermorgen widerlegt. Bei einigen Themen produziert die Wissenschaft am laufenden Band ­Studien, die sich mit großer Euphorie diametral widersprechen.

Eigentlich dürfte es derartige Schwankungen nicht geben. Vor allem nicht in der medizini­schen Forschung: Wer etwa heute glaubt, ein neues Heilmittel gefunden zu haben, muss seine Erkenntnisse aufwändig dokumentieren. In den wissenschaftlichen Journalen wird jedes Manuskript von mehreren Experten aus dem Fachgebiet geprüft. In der Regel genügt es, wenn einer davon das Manuskript für mangelhaft hält, um es abzulehnen. Das soll verhindern, dass fehlerhafte Forschungsergebnisse unberechtigte Hoffnungen wecken.

Theoretisch ist dieses System gut gegen Irrtümer gewappnet. Aber die Praxis ist ein wahres Fehlerfiasko: Das jedenfalls geht aus den Forschungen des griechisch-amerikanischen Mediziners John Ioannidis hervor, der die Veröffentlichungen seiner Kollegen erst an der US-amerikanischen Harvard University, später am National Institute of Health statistisch auswertete.

Ioannidis publizierte seine Arbeit 2005 unter dem Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind". Der Großteil aller Studien, behauptet der Mediziner, sei wertlos, weil sie Ergebnisse von zu wenigen Probanden auswerten oder keine Kontrollgruppen anlegen. Es sind Studien, bei denen ein, zwei Dutzend junge Männer ins Labor geholt und vor den Vi­deospielmonitor gesetzt werden, während der Forscher ihre Hirnströme untersucht.

Bei derart wenigen Probanden kann alles Mögliche passieren; eine solche Gruppe ist viel zu klein, um das Ergebnis gegen statistische Ausreißer oder Messfehler abzusichern. Fallen nur zwei der Videospieler in einer solchen Gruppe durch Aggressionen auf, heißt es hinterher, "zehn Prozent aller jungen Männer werden durch Videospiele aggressiv". Werden solche Studien später wiederholt, kommt es oft zu völlig anderen Resultaten. Eigentlich sind Studien mit wenigen Probanden und ohne Kontrollgruppe fahrlässig, doch sie sind vergleichsweise billig, und sie liefern die spektakulärsten Ergebnisse. Und sie machen 80 Prozent (!) aller veröffentlich­ten Arbeiten aus.

Aber selbst Studien auf höchstem wissenschaftlichem Niveau – groß angelegt, mit neutraler Kontrollgruppe – sind häufig fehlerhaft ...

Dieser Beitrag ist ein leicht gekürzter Auszug aus Lob des Irrtums. Warum es ohne Fehler keinen Fortschritt gibt von Jürgen Schaefer, erschienen bei C. Bertelsmann, München 2014

Kennen Sie schon …

Spektrum Psychologie – Kann die Persönlichkeit krank machen?

Der eine frisst den Ärger in sich hinein, der andere geht beim kleinsten Ärgernis in die Luft. Werden mache Menschen deshalb eher schwer krank? Das klären wir in dieser Ausgabe. Außerdem erzählen wir die Geschichte von Ella und ihren zwölf Ichs und beleuchten die Vor- und Nachteile des Auswanderns.

Spektrum - Die Woche – Fragwürdiger Fußabdruck

Der populärste Ansatz, die vom Menschen verursachten Umweltgefahren in ein leicht zugängliches Bild zu fassen, ist der »Earth Overshoot Day«. Doch was ist dran an dieser Berechnung? Welche Parameter werden berücksichtigt? Wie aussagekräftig ist die Methode? Unser Titelthema der aktuellen »Woche«.

Spektrum Kompakt – Du schaffst das! - Motivation stärken, aus Fehlern lernen

Wie oft fassen wir gute Vorsätze - und scheitern. Dabei gibt es gute Strategien, Motivation und Erfolg zu steigern. Und dabei sind wir auch nicht allein auf uns selbst gestellt.

Schreiben Sie uns!

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Zuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Zuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmende sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Zuschriften können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

  • Quellen

Ioannidis, J. P. A.: Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. In: The Journal of the American Medical Association 294, S. 218–228, 2005

Ioannidis, J. P. A.: Why Most Published Research Findings Are False. In: PLoS Medicine 2, e124, 2005

Young, N. S. et al.: Why Current Publication Practices May Distort Science. In: PLoS Medicine 5, e201, 2008

Bitte erlauben Sie Javascript, um die volle Funktionalität von Spektrum.de zu erhalten.