Vor nicht allzu langer Zeit galt "Forschung" in den internationalen Entwicklungshilfekreisen noch als Tabuwort: Zeit und Geld, so die vorherrschende Meinung, sind in praktischen Hilfsprogrammen allemal besser angelegt als darin, die Hilfsprogramme auch noch einer Effizienzanalyse und Zielkontrolle zu unterziehen.

Diese Einstellung beginnt zu wackeln. In den letzten Monaten sind mehrere Studien herausgekommen, die – zum Beispiel – den Erfolg von Agrarausbildungsprogrammen oder von medizinischen Kursen zur Behandlung von Wurmparasiten evaluiert haben. Dass es diese Studien gibt, deutet auf einen vor rund einem Jahrzehnt eingeleiteten Bewusstseinswandel in der Gemeinde der Entwicklungshelfer hin: Die Untersuchungen tragen dem Bedürfnis Rechnung, den immer weniger enthusiastischen Finanziers von Hilfsprogrammen Beweise dafür zu liefern, dass ihr Geld auch wirklich Früchte trägt. Die bei klinischen Medikamententests etablierten Prüfverfahren könnten da vielleicht helfen. Gleichzeitig wächst allerdings die Befürchtung, dass Programme vorzeitig eingestampft werden, wenn sie nicht gleich Ergebnisse liefern können.

"Jetzt, wo die großen, sorgfältig gemachten Impakt-Studien zu ihrem Abschluss kommen, müssen wir uns natürlich auch auf immer mehr negative Resultate einstellen", warnt Macartan Humphreys von der Columbia University in New York, Ökonom mit dem Spezialgebiet Internationale Entwicklungshilfe.

Die Millenium Challenge Corporation (MCC), eine von der US-amerikanischen Regierung gestützte Entwicklungshilfeorganisation, ist Vorreiter bei dieser Verpflichtung zur Selbstrevision: Sie setzt schon bei 40 Prozent aller finanzierten Projekte die etablierten Methoden der Erfolgsbewertung ein. Erste Resultate – evaluiert wurden landwirtschaftliche Ausbildungsprogramme in fünf Ländern wie Armenien, El Salvador und Ghana – erbrachten allerdings nur mäßige Erfolge.

So zeigen die im Oktober 2012 veröffentlichten Auswertungen zum Beispiel, dass Versuche zur Vermittlung von betriebswirtschaftlichem und agrartechnischem Knowhow den Landwirten in den drei Länder tatsächlich dabei geholfen haben, mehr Produkte zu verkaufen, was auch ihre Einnahmen deutlich erhöht hat. Nur ging nicht, wie eigentlich vermutet, die Armut mit dem Produktionsanstieg zurück – im Gegenteil, nichts deutet darauf hin, dass sich die zusätzlichen Einnahmen auch im Geldbeutel der Bauern niederschlugen.

Die Grenzen der Ahnungslosigkeit

Wie sich dieser Widerspruch auflösen lässt, ist den MCC-Verantwortlichen ein Rätsel. "Immerhin verschiebt das die Grenzen unserer Ahnungslosigkeit", meint der Wirtschafts- und Sozialwissenschaftler William Savedoff vom Center for Global Development in Washington DC, der an der Evaluationsstudie selbst nicht mitgearbeitet hat. "Solche Studien zwingen uns zu einer ernsthaften Auseinandersetzung mit unseren Maßnahmen – und den Wissenslücken, die wir in puncto Agrarextension und Armut noch haben".

In einigen der durch die MCC evaluierten landwirtschaftlichen Schulungsmaßnahmen waren auch randomisierte Kontrollversuche (RKV) vorgesehen – wie dies für ernst zu nehmende klinische Studien seit Langem Standard ist. Bei Entwicklungshilfeprojekten werden dabei Hilfsempfänger zufällig den Programmen zugeteilt: Einzelne Haushalte erhalten zum Beispiel Moskitonetze als Schutz vor Blut saugenden Überträgern von Krankheitserregern; um den Erfolg der Aktion zu ermitteln, wird diese Gruppe anschließend mit einer Kontrollgruppe verglichen, die keine Netze erhalten hat. Diese Vorgehensweise ermöglicht es, die Auswirkungen einzelner Maßnahmen zu messen: "RKV sind extrem aussagekräftig und werden noch viel zu selten durchgeführt", findet die Entwicklungshilfeexpertin Rachel Glennerster, die am Massachusetts Institute of Technologie in Cambridge das Abdul Latif Jameel Action Lab (J-PAL) leitet. Die J-PAL-Forscher setzen bei der Evaluation von Hilfsprogrammen häufig auf RKV, so Glennerster.

Als Allheilmittel dürften sie aber durchaus nicht gesehen werden. So weist der Entwicklungshilfeökonom Jeffrey Sachs von der Columbia University auf die unethischen Aspekte von RKVs in Entwicklungshilfeprojekten hin: Sie führen schließlich dazu, dass den Kontrollgruppen Hilfsmaßnahmen vorenthalten werden.

Strittige Studienauswertung

Immerhin aber sind mittlerweile genug RKV-Studien durchgeführt worden, um den Erfolge systematisch analysieren zu können. Selbst solche Metaanalysen geraten allerdings in die Kritik. Im vergangenen Jahr zum Beispiel hat ein Übersichtsartikel [1] systematisch untersucht, ob eine in Entwicklungsländern durchgeführte Behandlung gegen Wurmparasiten die Ernährungssituation, die geistige Entwicklung und die schulische Leistungsfähigkeit von Kindern erhöht hat. Die Auswertung ist von der im englischen Oxford ansässigen Cochrane Collaboration durchgeführt worden – einer vor allem für ihre systematischen Reviews im medizinischen Sektor bekannten Institution.

Einige prominente Entwicklungshelfer – von denen manche, wie Glennerster, auch an Entwurmungsprojekten mitarbeiten – weisen nun darauf hin, dass in dem Review wichtige Aspekte ausgespart und Schlüsselstudien übergangen wurden, die beispielsweise schulische Fortschritte positiv vermerkt hatten. "Wir sehen den Review kritisch: Da werden schlicht ein paar Veröffentlichungen zusammengeworfen und Mittelwerte gebildet, die unter dem Strich dann keinen Effekt belegen. Dabei zeigen sich aber sehr wohl Effekte in einzelnen der qualitativ hochwertigen Primärstudien", so Glennerster.

Der Hauptautor der Studie – David Taylor-Robinson, ein Epidemiologe von der University of Liverpool – steht zu seinen Erkenntnissen: "Unsere Analyse hat sich auf RKV beschränkt, bei denen eine großflächig angewendete Maßnahme mit einem Placebo oder mit einer ganz ausbleibenden Behandlung verglichen wurde", fasst er zusammen – und fügt hinzu, dass drei Studien, in denen positive Ergebnisse gezeigt wurden, eben diese Kriterien nicht erfüllt hatten.

Um solchen Reviews Rückendeckung zu geben, wird gerade eine Datenbank aufgebaut, in die Forscher Studien aufnehmen lassen können. Initiiert wurde dieses Projekt von der International Initiative for Impact Evaluation (3ie), einer Non-Profit-Organisaton aus Washington, DC, die evaluationsbasierte Projektforschung betreibt und finanziert. Die Datenbank soll im Lauf dieses Jahres freigeschaltet werden und dann nach und nach Qualitätsbewertungen für die verschiedensten Hilfsinterventionen an einem Ort zusammenfassen, erklärt der Leiter der Initiative, Howard White.

Endziel sei dabei, Forschern zu helfen, eine Voreingenommenheit zu vermeiden, wenn sie den Erfolg von Hilfsmaßnahmen in systematischen Analysen evaluieren – also zum Beispiel positive Ergebnisse selektiv überzubetonen oder ausbleibende Erfolge unbewusst zu verschweigen.

Einblick in die Kausalkette

Noch ist auch ungeklärt, ob Entwicklungshilfegruppen ihre Studien zunächst vorab anmelden müssen, um sie dann später in Fachmagazinen publizieren zu dürfen – diese Vorgehen ist in einigen Ländern für klinische Studien vorgeschrieben. Unterdessen bemüht sich die internationale Gemeinde der Entwicklungshelfer verstärkt darum, eine "Theory of Change" in ihren Studien zu berücksichtigen – eine analytische Methode, mit deren Hilfe kalkuliert werden soll, wie eine Ereigniskette zu einem bestimmten Endresultat führt. "Man benötigt, philosophisch betrachtet, ja nicht einmal unbedingt tiefe Einsichten in einzelne kausale Mechanismen, um am Ende zu wissen, dass eine bestimmte Aktion zu einem bestimmten Ausgang führt", erklärt White. "Trotzdem würden wir gerne möglichst viele Details der Kausalkette kennen, um dann eine sachgerechte Analyse durchführen zu können – und dann am Ende zu verstehen, wieso einige Projekte an einem Ort mal einschlagen und anderswo versagen".

Im Jahr 2005 hat die Weltbank eine solche Analyse durchgeführt, um ihr eigenes Programm zur Bekämpfung der Unterernährung in Bangladesch zu evaluieren. Von 1995 bis 2002 waren im Rahmen des Projekts Schwangeren und jungen Müttern eine Ernährungsschulung angeboten worden. Anschließend hatte man als ersten Erfolg tatsächlich eine Abnahme der Unterernährung konstatiert – die genaue Auswertung zeigte allerdings, dass ganz Ähnliches gleichzeitig auch in Kontrollregionen zu verzeichnen waren. Die Maßnahme selbst war demnach nicht ausschlaggebend. Tatsächlich fand man später heraus, dass ein Grund für das Versagen des Programms bei den Familienvätern zu suchen war: Weil diese als Haushaltsvorstand die Nahrungsmittel verwalteten, konnten die Mütter gar nicht umsetzen, was sie in den Schulungen gelernt hatten.

So schmerzlich solche Ergebnisse erst einmal scheinen, für den dringend notwendigen Wandel in Entwicklungshilfekreisen sind sie unverzichtbar, findet Humphries: Negativresultate seien nun einmal integraler Bestandteil des Forschungsprozesses, und Geldgeber wie Forscher sollten sich lieber an sie gewöhnen. Falls nicht, so wachse die Gefahr, dass die notwendigen Gelder schon frühzeitig bei den ersten ausbleibenden Erkenntnissen versiegen – und die Projekte dann überhaupt nicht weiter verfolgt werden.

Dieser Artikel ist unter dem Titel "International aid projects come under the microscope" in Nature 493, S. 462–463, 2013 erschienen.