Statistik: Zahlenspiele mit Zebrastreifen
"Ich glaube keiner Statistik, die ich nicht selbst gefälscht habe" - mit dieser meist Winston Churchill zugeschriebenen Weisheit begründen viele Menschen ihre Skepsis gegenüber wissenschaftlichen Ergebnissen. Allzu oft scheint das Misstrauen berechtigt, auch wenn bewusste Fälschung häufig nicht der Grund für die Missstände ist.
© (Ausschnitt)
Der Vorwurf ist alt: Seit Jahren weisen Wissenschaftler immer wieder darauf hin, dass eine Vielzahl der veröffentlichten Erkenntnisse unzutreffend oder zumindest unzureichend gegen Zweifel abgesichert sei. Der Epidemiologe John Ioannidis behauptet nun, mehr als die Hälfte aller wissenschaftlichen Veröffentlichungen seien schlichtweg falsch. Wie kommt er zu dieser Behauptung?
Ein wesentliches Problem stellt seiner Meinung nach die häufig mangelnde Qualität von Studien dar. Dabei ist die Stichprobengröße ein wesentlicher Faktor. Nimmt ein Forscher beispielsweise an, dass die Körpergröße des Zebras mit der Anzahl seiner Streifen zusammenhängt, genügt es nicht, zwei Zebras zu vergleichen. Zu groß ist dabei die Wahrscheinlichkeit, dass rein zufällig das mit mehr Streifen auch das größere ist.
Je nachdem, wie klein die gesuchte Differenz ist, desto mehr Tiere benötigt er, um die Hypothese zu überprüfen. Sucht er nach einem Unterschied von einem Meter, dürfte sich schnell zeigen, dass er dieses Ergebnis auch mit Millionen vermessener Zebras höchstwahrscheinlich nicht erreichen wird. Geht er hingegen von einem Millimeter mehr pro Streifen aus, benötigt er ungleich mehr Zebras um nachzuweisen, dass sein Befund nicht nur auf zufällige Schwankungen zurückzuführen ist – allein ein einziges aus der Art geschlagenes Zwei-Meter-Zebra könnte bei geringer Stichprobengröße das Ergebnis eklatant verfälschen. In der Realität sind jedoch Stichprobengrößen häufig viel zu gering, um verlässliche Ergebnisse zu erhalten.
Absolute Sicherheit kann mit statistischen Kennwerten nie erreicht werden. Selbst wenn unser Zebra-Spezialist sehr viele Zebras vermessen würde, kann er nicht mit Sicherheit sagen, ob das Ergebnis nicht doch auf dem Zufall basiert. Es könnte sein, dass sich in seiner Stichprobe eben doch überproportional viele große, vielstreifige Tiere befanden. Daher genügt ihm – wie in der Wissenschaft üblich – eine gewisse Wahrscheinlichkeit, meist 95 Prozent, dass sein Ergebnis nicht auf den Zufall zurückzuführen ist. Mit anderen Worten: Er nimmt in Kauf, in einer von zwanzig Messstudien einen Zusammenhang zu finden, auch wenn eigentlich gar keiner existiert.
Gehen wir nun einmal davon aus, der Zebratologe konnte in seiner Studie keine Korrelation finden. Er ist aber überzeugt, dass es irgendeinen Zusammenhang geben muss zwischen der Streifenzahl und dem Körperbau. Also untersucht er nun alle Einzelteile seiner Versuchstiere: Gewicht, Wimpernzahl, Hufgröße, Zungenlänge – schlicht alles, was man irgendwie erfassen kann. Nun sucht er wieder nach Zusammenhängen und – siehe da – findet heraus, dass die Streifenzahl mit der Größe der Ohren korreliert. Glücklich über diese bahnbrechende Erkenntnis schreibt er nun eine Veröffentlichung über die Bedeutung des Ohrvolumens für die Anzahl der Zebrastreifen.
Doch hier liegt der nächste Fehler: Je mehr Merkmale ein Forscher untersucht, ohne zu wissen, wonach er sucht, desto mehr steigt die Wahrscheinlichkeit, dass er allein durch Zufall irgendein signifikantes Ergebnis erhält. Dieses Problem sieht Ioannidis vor allem in der Biotechnologie: Hier liegen Daten über Tausende von Merkmalen vor. Um ein signifikantes Ergebnis zu erreichen, genügt es, wenn eine gewisse Anzahl davon in Zusammenhang mit einer bestimmten Diagnose steht. Um solche Zufallsergebnisse zu vermeiden, müssen vor der Untersuchung Hypothesen dazu vorliegen, welche Merkmale mit einer Erkrankung zusammenhängen. Eine Studie, in der blind nach irgendeiner Korrelation gesucht wird, sollte höchstens Hinweise darüber geben, welche Merkmale in Zukunft untersucht werden sollten.
Eigentlich müssten doch die Ergebnisse der biomedizinischen Forschung zuverlässiger sein als auf vielen anderen Gebieten – schließlich kommen hier Unmengen an Daten zum gleichen Thema zusammen. Das Gegenteil sei der Fall, so Ioannidis: Gerade hier veröffentlichen Wissenschaftler am liebsten scheinbar spektakuläre Durchbrüche wie beispielsweise "Gen entdeckt, das Allergien auslöst". Weniger prestigeträchtig klingt dagegen die Nachricht "Kein Gen gefunden, das in Zusammenhang mit Knochendichte steht". Statt sie zu publizieren, lassen Wissenschaftler solche Studien eher in einer Schublade verschwinden – als Misserfolg auf dem langen Weg zur Klärung der Funktionen menschlicher Gene. Nur wenn sich mit dem eigenen Null-Ergebnis die vermeintliche Sensation der Konkurrenz infrage gestellt werden kann, findet es den Weg in eine Publikation. Daher verwundert es auch nicht, dass häufig in kurzen Zeiträumen sich widersprechende Veröffentlichungen verschiedener Forscherteams aufeinander folgen.
Ein weiteres Problem besteht in den zahlreichen Einflüssen, denen ein Wissenschaftler ausgesetzt ist. Selten wird ein Forscher in seiner Veröffentlichung davon berichten, dass ihn der finanzierende Pharmakonzern unter Druck gesetzt hat, bestimmte Patientengruppen nicht in die Studie aufzunehmen und Nebenwirkungen in der Veröffentlichung zu unterschlagen. Und die Beeinflussung ist nicht nur monetärer Art: Ein Doktorand wird sich davor hüten, in seiner Promotion nachzuweisen, dass sein Doktorvater jahrelang mit seiner Theorie falsch lag.
Was würde Ioannidis also unserem Zebraforscher für die Zukunft raten? Zunächst sollte er eine Hypothese erstellen, die im Idealfall auf früheren Ergebnissen beruht. Darüber hinaus sollte er wissen, wie viele Tiere er untersuchen muss, um seine Hypothese überhaupt bestätigen zu können. Auch wenn sich seine Vermutung nicht bestätigt, sollte er dies publizieren – gegen alle Widerstände und den persönlichen Stolz. Und schließlich sollte er für weiter gehende Untersuchungen oder auch für Meta-Analysen, in denen die Ergebnisse vieler Studien zusammengefasst werden, seine Ergebnisse oder seine Daten der Zebratologen-Gemeinschaft am besten frei und leicht zugänglich zur Verfügung stellen. Empfehlungen, die kaum jünger sind als der alte Vorwurf – nur inzwischen viel leichter zu realisieren.
Ein wesentliches Problem stellt seiner Meinung nach die häufig mangelnde Qualität von Studien dar. Dabei ist die Stichprobengröße ein wesentlicher Faktor. Nimmt ein Forscher beispielsweise an, dass die Körpergröße des Zebras mit der Anzahl seiner Streifen zusammenhängt, genügt es nicht, zwei Zebras zu vergleichen. Zu groß ist dabei die Wahrscheinlichkeit, dass rein zufällig das mit mehr Streifen auch das größere ist.
Je nachdem, wie klein die gesuchte Differenz ist, desto mehr Tiere benötigt er, um die Hypothese zu überprüfen. Sucht er nach einem Unterschied von einem Meter, dürfte sich schnell zeigen, dass er dieses Ergebnis auch mit Millionen vermessener Zebras höchstwahrscheinlich nicht erreichen wird. Geht er hingegen von einem Millimeter mehr pro Streifen aus, benötigt er ungleich mehr Zebras um nachzuweisen, dass sein Befund nicht nur auf zufällige Schwankungen zurückzuführen ist – allein ein einziges aus der Art geschlagenes Zwei-Meter-Zebra könnte bei geringer Stichprobengröße das Ergebnis eklatant verfälschen. In der Realität sind jedoch Stichprobengrößen häufig viel zu gering, um verlässliche Ergebnisse zu erhalten.
Absolute Sicherheit kann mit statistischen Kennwerten nie erreicht werden. Selbst wenn unser Zebra-Spezialist sehr viele Zebras vermessen würde, kann er nicht mit Sicherheit sagen, ob das Ergebnis nicht doch auf dem Zufall basiert. Es könnte sein, dass sich in seiner Stichprobe eben doch überproportional viele große, vielstreifige Tiere befanden. Daher genügt ihm – wie in der Wissenschaft üblich – eine gewisse Wahrscheinlichkeit, meist 95 Prozent, dass sein Ergebnis nicht auf den Zufall zurückzuführen ist. Mit anderen Worten: Er nimmt in Kauf, in einer von zwanzig Messstudien einen Zusammenhang zu finden, auch wenn eigentlich gar keiner existiert.
Gehen wir nun einmal davon aus, der Zebratologe konnte in seiner Studie keine Korrelation finden. Er ist aber überzeugt, dass es irgendeinen Zusammenhang geben muss zwischen der Streifenzahl und dem Körperbau. Also untersucht er nun alle Einzelteile seiner Versuchstiere: Gewicht, Wimpernzahl, Hufgröße, Zungenlänge – schlicht alles, was man irgendwie erfassen kann. Nun sucht er wieder nach Zusammenhängen und – siehe da – findet heraus, dass die Streifenzahl mit der Größe der Ohren korreliert. Glücklich über diese bahnbrechende Erkenntnis schreibt er nun eine Veröffentlichung über die Bedeutung des Ohrvolumens für die Anzahl der Zebrastreifen.
Doch hier liegt der nächste Fehler: Je mehr Merkmale ein Forscher untersucht, ohne zu wissen, wonach er sucht, desto mehr steigt die Wahrscheinlichkeit, dass er allein durch Zufall irgendein signifikantes Ergebnis erhält. Dieses Problem sieht Ioannidis vor allem in der Biotechnologie: Hier liegen Daten über Tausende von Merkmalen vor. Um ein signifikantes Ergebnis zu erreichen, genügt es, wenn eine gewisse Anzahl davon in Zusammenhang mit einer bestimmten Diagnose steht. Um solche Zufallsergebnisse zu vermeiden, müssen vor der Untersuchung Hypothesen dazu vorliegen, welche Merkmale mit einer Erkrankung zusammenhängen. Eine Studie, in der blind nach irgendeiner Korrelation gesucht wird, sollte höchstens Hinweise darüber geben, welche Merkmale in Zukunft untersucht werden sollten.
Eigentlich müssten doch die Ergebnisse der biomedizinischen Forschung zuverlässiger sein als auf vielen anderen Gebieten – schließlich kommen hier Unmengen an Daten zum gleichen Thema zusammen. Das Gegenteil sei der Fall, so Ioannidis: Gerade hier veröffentlichen Wissenschaftler am liebsten scheinbar spektakuläre Durchbrüche wie beispielsweise "Gen entdeckt, das Allergien auslöst". Weniger prestigeträchtig klingt dagegen die Nachricht "Kein Gen gefunden, das in Zusammenhang mit Knochendichte steht". Statt sie zu publizieren, lassen Wissenschaftler solche Studien eher in einer Schublade verschwinden – als Misserfolg auf dem langen Weg zur Klärung der Funktionen menschlicher Gene. Nur wenn sich mit dem eigenen Null-Ergebnis die vermeintliche Sensation der Konkurrenz infrage gestellt werden kann, findet es den Weg in eine Publikation. Daher verwundert es auch nicht, dass häufig in kurzen Zeiträumen sich widersprechende Veröffentlichungen verschiedener Forscherteams aufeinander folgen.
Ein weiteres Problem besteht in den zahlreichen Einflüssen, denen ein Wissenschaftler ausgesetzt ist. Selten wird ein Forscher in seiner Veröffentlichung davon berichten, dass ihn der finanzierende Pharmakonzern unter Druck gesetzt hat, bestimmte Patientengruppen nicht in die Studie aufzunehmen und Nebenwirkungen in der Veröffentlichung zu unterschlagen. Und die Beeinflussung ist nicht nur monetärer Art: Ein Doktorand wird sich davor hüten, in seiner Promotion nachzuweisen, dass sein Doktorvater jahrelang mit seiner Theorie falsch lag.
Was würde Ioannidis also unserem Zebraforscher für die Zukunft raten? Zunächst sollte er eine Hypothese erstellen, die im Idealfall auf früheren Ergebnissen beruht. Darüber hinaus sollte er wissen, wie viele Tiere er untersuchen muss, um seine Hypothese überhaupt bestätigen zu können. Auch wenn sich seine Vermutung nicht bestätigt, sollte er dies publizieren – gegen alle Widerstände und den persönlichen Stolz. Und schließlich sollte er für weiter gehende Untersuchungen oder auch für Meta-Analysen, in denen die Ergebnisse vieler Studien zusammengefasst werden, seine Ergebnisse oder seine Daten der Zebratologen-Gemeinschaft am besten frei und leicht zugänglich zur Verfügung stellen. Empfehlungen, die kaum jünger sind als der alte Vorwurf – nur inzwischen viel leichter zu realisieren.
Schreiben Sie uns!