Sommerzeit, Ferienzeit – höchste Zeit, die Urlaubsillusion schlechthin anzusprechen: Ich war da, ich weiß, wie die ticken! Die Rede ist von der Neigung, aus wenigen, zufälligen Begegnungen Rückschlüssen auf die Mentalität der ortsansässigen Bevölkerung zu ziehen.

Angenommen, Sie reisen irgendwohin und werden von der Rezeptionistin im Hotel sehr herzlich empfangen. Wenig später erklärt Ihnen der erstbeste Passant mit Engelsgeduld den Weg zur Altstadt. Und auf dem Rückweg setzt der Busfahrer Sie direkt vorm Hotel ab, obwohl der Halt viel weiter weg ist.

Was denken Sie? Klar: Die Leute hier sind ja so was von nett und hilfsbereit!

Dabei waren Ihre drei Begegnungen eben bloß – drei Begegnungen! Wir glauben aber intuitiv, auch eine noch so kleine Stichprobe sei repräsentativ für die Gesamtheit. Was mitnichten zutrifft.

Der »Drei Leute waren nett zu mir, also sind die ________ ((bitte Ort oder Nation eintragen)) ein freundliches Völkchen!«-Effekt beruht auf dem Gesetz der kleinen Zahl. Nicht nur halten wir wenige ausgesuchte Fälle für stichhaltig; wiederholen wir den »Test«, so rechnen wir mit mehr oder weniger demselben Ergebnis. Deshalb mögen auch Psychologen kaum glauben, dass sich ihr schönes Studienresultat bei der nächsten Erhebung in Luft auflöst. Tut es aber leider oft. Laut einer Schätzung der Open Science Collaboration von 2015 in rund zwei von drei Fällen.

Eine bahnbrechende Arbeit der Psychologen Amos Tversky (1937–1996) und Daniel Kahneman (1934–2024) entlarvte bereits 1971 das übertriebene Vertrauen in die kleine Zahl. Ja, der Kahneman, später Autor des Bestsellers »Schnelles Denken, langsames Denken« und Träger des Nobelpreises für Wirtschaft 2002.

Und weil diese Kolumne »Ein Quantum Wahrheit« heißt, muss ich Ihnen jetzt die folgende zumuten: Psychologische Studien, ob Experiment, Befragung oder Feldbeobachtung, stützen sich in der Regel nur auf eine kleine und nicht einmal ganz zufällige – weil sehr oft aus Studierenden bestehende – Stichprobe. Dennoch gelten sie als recht gute Annäherung an die Wahrheit. Welche Illusion!

Tversky und Kahneman illustrierten das unter anderem an diesem Beispiel: Zeigt man fünf Babys je zwei Spielsachen, sagen wir Ball und Puppe, und vier Kleine strecken ihre Ärmchen nach dem Ball aus, scheint die Präferenz eindeutig. Rechnerisch tritt so ein 4-zu-1-Ergebnis jedoch selbst dann mit knapp 40-prozentiger Wahrscheinlichkeit ein, wenn es de facto überhaupt keine Präferenz gibt.

Bauchgefühl und gesunder Menschenverstand statt Studien?

Ergo: Wir überschätzen die Aussagekraft kleiner Stichproben. Sollte man also auf solche Belege besser verzichten und stattdessen aufs Bauchgefühl hören? Das wäre so, als wollte man die Demokratie wegen ihrer Schwächen abschaffen und die Monarchie (oder Schlimmeres) wieder einführen. Nein, Studien sind das beste Mittel, um Erkenntnisse zu produzieren. Man darf es mit dem Glauben an ihre »Wahrheit« nur nicht übertreiben. Und Macken der Forschung nicht zum Anlass nehmen, die womöglich noch größeren Macken des »gesunden Menschenverstands« vorzuziehen.

Für die Psychologie heißt das, eine Studie ist keine – im Plural liegt die Kraft! Denn bloß viele, große und wiederholte Zufallsziehungen ergeben ein realistisches Bild. Der Fachausdruck dafür lautet Metaanalyse. Stopp! Ja, natürlich ist eine Metaanalyse noch viel mehr, nämlich eine nach vernünftigen Kriterien gewichtete Übersicht zur Datenlage bei einer Forschungsfrage. Der springende Punkt jedoch ist: Es bedarf mehr als einer kleinen Zahl, wie sie die meisten Einzelstudien präsentieren, um sinnvolle Aussagen treffen zu können.

Wenn Ihnen also nächstens jemand voll Inbrunst erklärt, die Türken, Amis oder Holländer seien so und so – erwidern Sie einfach: Hast du mal ne Metaanalyse? Ihr Gegenüber wird Augen machen!