Für einen kurzen Augenblick stand Matt Motyl an der Schwelle zum wissenschaftlichen Ruhm. 2010 entdeckte er bei einem Experiment, dass Extremisten die Welt in Schwarz und Weiß sehen – und das buchstäblich. Die Ergebnisse waren "völlig eindeutig", erinnert sich der Psychologiedoktorand von der University of Virginia in Charlottesville. Seine Studie an fast 2000 Probanden hatte ergeben, dass links- oder rechtsextrem eingestellte Menschen feine Grauschattierungen schlechter wahrnehmen können als solche mit gemäßigteren politischen Ansichten.

"Die Hypothese war nicht nur sexy", sagt ­Motyl, "sie wurde auch von den Daten gestützt." Das zeigte sich, als er den p-Wert errechnete – die übliche Art, die Aussagekraft eines statistischen Befunds zu beziffern. Er lag bei 0,01, das gilt als "hoch signifikant". Damit schien die Veröffentlichung in einer hochrangigen wissenschaftlichen Fachzeitschrift zum Greifen nah.

Doch Motyl und sein Betreuer Brian Nosek wollten auf Nummer sicher gehen und wiederholten das Experiment noch einmal. In der zweiten Studie mit 1300 Probanden sprang der p-Wert auf 0,59. Das liegt weit jenseits der Schwelle von 0,05, bis zu der ein Ergebnis als statistisch ­signifikant gilt. Mit dem Effekt verblasste Motyls Traum vom frühen wissenschaftlichen Ruhm.

Dabei waren weder die zuerst erhobenen Daten fehlerhaft noch war dem jungen Forscher ein Rechenfehler unterlaufen. Vielmehr illustriert dieses Beispiel, dass blindes Vertrauen in den p-Wert problematisch ist. Die Kennzahl ist nämlich keineswegs so verlässlich oder aussagekräftig, wie viele Wissenschaftler denken. "P-Werte leis­ten nicht, was sie sollen, weil sie das gar nicht können", sagt der Ökonom Stephen Ziliak von der Roosevelt University in Chicago, ein bekannter Kritiker des Verfahrens.

Schon vor einigen Jahren entbrannte eine Diskussion über die Replizierbarkeit von Studien­ergebnissen, also darüber, wie viele Befunde einer erneuten Überprüfung standhalten würden. Fälle wie Motyls, die den allgegenwärtigen p-Wert in Frage stellen, gießen zusätzlich Öl ins Feuer.

John Ioannidis, Epidemiologe an der Stanford University, hatte den Stein 2005 ins Rollen gebracht ...