Direkt zum Inhalt

Reproduzierbarkeit von Forschung: Psychologische Studien sind oft nur kurz richtig

Ein Crowd-Experiment legt nahe, dass sich viele Studien im Fach Psychologie nicht bestätigen, wenn man sie unabhängig überprüft und noch einmal durchführt. Fragt sich, ob das denn nun wieder stimmt.
ZeitschriftenLaden...

Fälschungsskandale, manipulierte Studiendaten und als Zufallsbefunde enttarnte Ergebnisse haben die psychologische Forschung in eine Glaubwürdigkeitskrise geführt. Allerdings hat dies auch schon Gegenmaßnahmen zur Qualitätssicherung ausgelöst: zunächst zum Beispiel verstärkte Versuche, sich einen genaueren Überblick über die Reproduzierbarkeit von Veröffentlichungen zu verschaffen und das Ausmaß des Problems abzuschätzen. Ein solcher Versuch im Rahmen des "Reproducibility Project: Psychology", bei dem Freiwillige 100 veröffentlichte psychologische Studien noch einmal nachgestellt und überprüft haben, liefert nun ein erstes Ergebnis – und zieht ein bedenkliches Zwischenfazit: Die Mehrzahl der überprüften Studien ließen sich in der Tat zunächst einmal nicht nachvollziehen.

Schaubild: Wieviele Grafiken liessen sich reproduzieren?Laden...
Reproduzierbare Studien | Wissenschaftler haben freiwillig die Zuverlässigkeit der Resultate von 100 ausgewählten psychologischen Veröffentlichungen überprüft. Am Ende stuften sie 61 als "nicht vollständig reproduzierbar" ein. Allerdings sind viele dieser Negativergebnisse nicht ganz falsch, sondern bestätigten sich zu mehr oder weniger großen Teilen (was hier durch verschiedene Blautöne angedeutet ist).

Die Botschaft ist allerdings nuancierter, als es auf den ersten Blick scheint: Zwar konnten 69 der 100 Studien nicht vollständig reproduziert werden, zumindest aber waren unter den Studien nur 15, bei denen sich nicht einmal ein halbwegs dem ursprünglichen Resultat entsprechender Befund andeutete. Typischerweise wurden etwa Signifikanzwerte nicht ganz erreicht – was aber nicht beweist, dass die getestete Hypothese sicher falsch sein muss. Einige Verhaltensstudien wurden daher als nicht reproduziert gewertet, obwohl etwa das beobachtete Handlungsmuster dem der ursprünglichen Studie augenscheinlich entsprach.

Die derzeit selbst noch nicht publizierten und daher vorläufigen Ergebnisse des Tests bestätigen allerdings frühere ähnliche Untersuchungen, die Anlass zur Sorge geben. Daniele Fanelli – er forscht über die Problematik von statistischen und wissenschaftlich-publizistischen Fehlleistungen an der Stanford University – meint gegenüber "Nature News", dass auch mit diesem Resultat die psychologische Forschung kaum schlechter abschneide als andere Forschungszweige: Frühere Versuche, Studien in der Krebsmedizin oder Arzneistoffentwicklung zu reproduzieren, hätten eher noch höhere Ausfälle ans Licht gebracht.

Für den neuen Test hatten Wissenschaftler freiwillig alte Studien wiederholt, wobei sie einem strengen Kriterienkanon folgen mussten. Nicht selten standen die Autoren der ursprünglichen Studie und die Nachtester übrigens in kollegialem Austausch, um eine möglichst strenge Reproduzierbarkeit sicherzustellen. Einige der freiwilligen Tester weisen zudem auf technische Gründe hin, die eine exakte Reproduzierbarkeit erschwerten oder verhinderten und so das Endergebnis beeinflussten. Solche Faktoren könnten in einem Peer-Review-Verfahren nun bewertet werden, bevor, wie geplant, das Magazin "Science" die Resultate endgültig veröffentlichen wird.

Lesermeinung

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Leserzuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Leserzuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmer sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Lesermeinungen können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Partnervideos