Wann haben Sie zuletzt gehört, dass jemand behauptete, es gäbe »keinen Unterschied« zwischen zwei Gruppen, weil der Unterschied statistisch nicht signifikant sei? Wenn es Ihnen so geht wie uns, dann war das wahrscheinlich beim letzten Vortrag, den Sie besucht haben. Hoffentlich gab es zumindest eine Person im Auditorium, die gestutzt hat, als das Diagramm oder die Tabelle durchaus einen Unterschied zeigte.

Wieso verleitet die Statistik Wissenschaftler allzu oft dazu, Unterschiede zu leugnen, die für statistisch weniger gebildete Menschen deutlich sichtbar sind? Seit vielen Generationen werden Forscher darauf hingewiesen, dass ein statistisch nicht signifikantes Ergebnis keineswegs die Nullhypothese »beweist« – also die Annahme, es gäbe keinen Unterschied zwischen zwei Gruppen oder keinen Effekt einer Behandlung auf das gemessene Ergebnis. Und ebenso wenig »beweisen« statistisch signifikante Ergebnisse irgendwelche anderen Hypothesen. Es sind genau diese falschen Auffassungen, die in der Fachliteratur zu übertriebenen Behauptungen führen und, was weit weniger bekannt ist, zu vermeintlich widersprüchlichen Befunden, wo es eigentlich keine Widersprüche gibt.

Wir haben ein paar Vorschläge, wie Wissenschaftler es vermeiden können, diesen Fehleinschätzungen zum Opfer zu fallen. Konkret geht es darum: Aus einem p-Wert, der größer ist als ein Grenzwert (wie 0,05), oder aus einem Konfidenzintervall, das den Wert null enthält, darf man niemals folgern, es gäbe »keinen Unterschied« oder »keinen Zusammenhang«. Ebenso sollten wir niemals auf einen Widerspruch schließen, wenn die eine Untersuchung ein statistisch signifikantes Ergebnis geliefert hat und die andere nicht. Solche Fehler vergeuden Forschungsanstrengungen und liefern Entscheidungsträgern falsche Informationen …