Direkt zum Inhalt

Reproduzierbarkeit von Studien: Der Psychologen-Markt erkennt gute Forschung

Welche Veröffentlichung taugt etwas, welche nicht? Das zeigt sich am besten dann, wenn man Experten neu erschienene Studien an einer fiktiven Börse handeln lässt.
Zeitschriften

Befragt man einzelne Psychologen, welche gerade neu herausgekommene Studie ihres Fachgebiets sich bei einer zweiten Überprüfung als reproduzierbar erweisen würden, ist das Ergebnis selten zuverlässig: Tatsächlich könnte man fast ebenso gut eine Münze werfen, anstatt die Fachleute zu befragen. Das ändert sich allerdings, sobald man die Antwort in einer Marktsituation prognostizieren lässt, bei der die gesammelten Meinungen zusammengeworfen werden. Dann ergeben sich recht gute Vorhersagen über die Reproduzierbarkeit der fraglichen Studien, wie ein Vorhersageexperiment belegt.

Der Test des Verfahrens wurde parallel zu dem jüngst durchgeführten crowdbasierten Großexperiment unternommen. Im Zuge des schlagzeilenträchtigen Unternehmens konnte von 100 psychologischen Veröffentlichungen nicht einmal die Hälfte von unabhängigen Teams reproduziert werden. Während dieser Großversuch im letzten Jahr lief – aber noch vor der Bekanntgabe des Ergebnisses – waren zusätzlich gut 40 beteiligte Forscher gebeten worden, per Fragebogen zu wetten, welche von über 40 getesteten Studien sich am Ende wohl bestätigen würde – und wie hoch sie die Wahrscheinlichkeit dafür einschätzen würden.

Schaubild: Wieviele Grafiken liessen sich reproduzieren?
Reproduzierbare Studien | Wissenschaftler haben freiwillig die Zuverlässigkeit der Resultate von 100 ausgewählten psychologischen Veröffentlichungen überprüft. Am Ende stuften sie 61 als "nicht vollständig reproduzierbar" ein. Allerdings sind viele dieser Negativergebnisse nicht ganz falsch, sondern bestätigten sich zu mehr oder weniger großen Teilen (was hier durch verschiedene Blautöne angedeutet ist).

Dabei ging es auch um echte Wetteinsätze: Die Teilnehmer bekamen 100 US-Dollar, die sie in "Aktien" anlegen durften, die den einzelnen Studien zugeordnet waren. Festgelegt war dabei, dass die Aktien von nicht reproduzierbaren Studien nach Abschluss des Experimentes wertlos sein würden, diejenigen jedoch, die zu Veröffentlichungen gehörten, die sich in ihrer Hauptaussage reproduzieren lassen würden, brächten jeweils einen Dollar ein. (In Studien, die sie selbst zu überprüfen hatten, durften die Befragten dabei übrigens nicht investieren.)

Die Ergebnisse sind nun publiziert worden. Wie sich zeigt, waren die in den Einzelumfragen gesammelten Prognosen kaum häufiger richtig, als wenn man sie schlicht ausgewürfelt hätte. Das Wettaktien-Marktmodell dagegen erreichte eine deutlich höhere Treffgenauigkeit von immerhin 71 Prozent korrekt vorhergesagter Replikationsresultate. Allerdings neigte der Wettmarkt insgesamt zu leicht übertriebenem Optimismus: Am Ende war die Durchschnittsaktie 55 US-Cent wert – woraus geschlossen werden kann, dass der "Markt" davon ausging, dass 55 Prozent aller Studien reproduziert werden können.

Insgesamt legt das Ergebnis aber nahe, dass die Wissenschaftlercommunity zu relativ verlässlichen Einschätzungen über die Reproduzierbarkeit kommen kann, kommentieren Experten, die nicht an dem Versuch beteiligt waren: "Das zeigt, dass eine Gruppe erfahrener Kollegen einen guten Riecher dafür hat, was sich bestätigen wird und was nicht", findet etwa der Verhaltensökonom Colin Camerer vom California Institute of Technology in Pasadena. "Diese Informationen steckt im Urteilsvermögen der Kollegenschaft – bisher hatte man das aber nie zusammengetragen und quantifiziert."

Die Einsätze, bitte

Der Marktansatz hat womöglich bessere Vorhersagen geliefert, weil Geld auf dem Spiel stand – oder vielleicht auch, weil die Marktsituation es erlaubt hat, die eigenen Wettentscheidungen an den Neigungen der anderen Teilnehmer feinzujustieren, erklärt Simine Vazire, die als Psychologin an der University of Califorina in Davis forscht. Trotzdem waren auch die Wettquoten am Ende häufig ungenau, so dass es "nicht weise wäre, auf der Basis von Vorhersagemärkten entscheiden zu wollen, welche Studie sich wohl reproduzieren lässt", ergänzt sie. "Aber ich denke schon, dass wir auf diesem Weg wertvolle Informationen über die Rahmenbedingungen bekommen können, welche die Reproduzierbarkeit einer Studie beeinflussen. Welcher Typus von Studie wird, zum Beispiel, von den Marktmodellen als wahrscheinlicher reproduzierbar eingestuft?"

Mit Detailinformationen aus den ursprünglichen Studien und den anschließenden Versuchen, diese zu reproduzieren, haben die Wissenschaftler auch ein Bayes-Statistik-Modell entwickelt: Es soll Einschätzungen über die Wahrscheinlichkeiten liefern, nach der sich eine Hypothese, die nachträglich erneut bestätigt wird, als tatsächlich wahr herausstellt.

Dabei erreicht die mittlere Wahrscheinlichkeit, dass die Grundhypothese einer initialen Veröffentlichung sich als zutreffend entpuppt, gerade einmal 56 Prozent. Oder anders ausgedrückt, "die Wahrscheinlichkeit dafür, dass die Hypothese wahr ist, strebt nicht gerade mit Raketengeschwindigkeit in Richtung völliger Sicherheit", scherzt der Psychologe Brian Nosek von der University of Virginia in Charlottesville, einer der Koautoren der Studie. Aber: Nach einer ersten erfolgreichen Replikation erreicht die Wahrscheinlichkeit für das Zutreffen der Hypothese dann doch annähernd 100 Prozent, wie die Auswertung zeigt.

"Nicht gerade mit Raketengeschwindigkeit in Richtung völliger Sicherheit"(Brian Nosek)

Demnach könnte man, legen die Autoren nahe, das Marktmodell sinnvoll einsetzen, um besonders replikationswürdige Studien auszumachen: "Wenn die Erkenntnisse reproduziert werden können, dann könnten wir Märkte einsetzen, um die Glaubwürdigkeit der frisch publizierten Studien einzuschätzen." Und, so Nosek weiter: "Wir könnten priorisieren, welche Erkenntnisse wichtig genug sind, sie mitsamt ihrer unsicheren Resultate noch einmal genauer unter die Lupe zu nehmen."

Der Artikel ist im Original "Psychologists' betting market hints at most reliable research findings" in "Nature" erschienen.

45/2015

Dieser Artikel ist enthalten in Spektrum - Die Woche, 45/2015

Lesermeinung

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Leserzuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Leserzuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmer sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Lesermeinungen können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Partnervideos