Essay

Evaluation

Heiner Rindermann

Definition
Mit "Evaluation" ist – kurz formuliert – die Bewertung, Auswertung und Interpretation von Informationen über die Wirkung von Programmen, Verfahren, Produkten, Dienstleistungen, Institutionen und Personen gemeint. Oder, genau definiert: Unter "Evaluation" ist die systematische, empirische Analyse von Konzepten, Bedingungen, Prozessen und Wirkungen zielgerichteter Aktivitäten zum Zwecke ihrer Bewertung und Modifikation zu verstehen. Über adäquate Messung und Beschreibung hinausgehend bewerten Evaluationen, und sie optimieren Prozesse. Formative Ansätze legen hierbei den Schwerpunkt auf die Verbesserung von laufenden Verfahren, summative Ansätze nehmen Wirkungsbeurteilungen vor und optimieren Entscheidungen.
Verwandte Begriffe sind wissenschaftliche Begleitung, Qualitätsmanagament und -sicherung, Programmevaluation, verfahrens- oder ergebnisorientierte Evaluation, Erfolgskontrolle, Effektivitätsmessung, Controlling, Impactevaluation, Wirkungsforschung, nutzenorientierte, responsive Evaluation usw. Die jeweiligen Begriffe akzentuieren einzelne Stufen im Evaluationsprozeß (Effektmessung), Ziele (Qualitätssicherung), Partizipationsformen (responsiv) oder grenzen den Gegenstand auf spezifische Inhalte ein (Programmevaluation). Allen Varianten ist gemeinsam, daß relevante Informationen für die Gestaltung der Praxis durch Untersuchungsmethoden ermittelt werden, die wissenschaftlichen Kriterien genügen. Wissenschaftliche Methodik und Praxisorientierung kennzeichnen die Evaluationsforschung. Fließende Übergänge bestehen zur Aktionsforschung oder Feldforschung.
Evaluation versteht sich somit als eine rationale Problemlösestrategie, die für Entscheidungen zuverlässige empirische Datengrundlagen liefert sowie Entscheidungen über die Klärung von Zielen und die Dekomposition von komplexen Problemen rationaler gestalten möchte (präskriptive Entscheidungstheorie).
Die Evaluationsforschung ist in verschiedenen Disziplinen angesiedelt: Die Pädagogische Psychologie und Pädagogik (z.B. Schulmodellversuche), Kriminologie (Bestrafungs- und Resozialisierungsansätze), Soziologie (Integrationsprojekte), Arbeits- und Organisationspsychologie und Betriebswirtschaft (Personalentwicklung), Sonderpädagogik (Soziale Arbeit), Umweltforschung (Verkehrssteuerung), Medizin (Behandlungsformen), Klinische Psychologie (Psychotherapie-Wirkung, Therapievergleiche) und andere beschäftigen sich mit Überprüfungen von Programmen und Institutionen.

Anforderungen
Evaluatoren sehen sich zum Teil einander widersprechenden Anforderungen gegenüber. So werden von Auftraggebern oft nicht realisierbare oder mit Kriterien wissenschaftlicher Forschung kollidierende Erwartungen formuliert. Strenge Standards wissenschaftlicher Arbeit sind häufig nicht einzuhalten, etwa wenn Kontrollgruppen oder Längsschnitte nicht realisierbar sind. Evaluationsprojekte sind nicht selten unterfinanziert, zeitlich befristet und durch eine Vielzahl von Regelungen (z.B. Datenschutz) in ihrer Arbeit eingeschränkt. Zudem ist das Praxisfeld nicht einheitlich strukturiert, spezifische Gruppen innerhalb der Auftraggeber oder der Evaluierten (bei schulischen Evaluationen z.B. Kultusministerium, Oberschulamt, Schulleitung, Lehrer, Eltern, Schüler und deren Verbände) vertreten unterschiedliche Positionen und können den Evaluationsprozeß durch offenen oder verdeckten Widerstand beeinträchtigen. Evaluation stellt immer eine gewisse Bedrohung für Beurteilte dar: Defizite können aufgedeckt und Strukturen mit Veränderungsvorschlägen konfrontiert werden. Ängste und Widerstände lassen sich reduzieren, wenn die zu beurteilenden Personen und Institutionen mit in die Planung und Durchführung des Evaluationsprozesses einbezogen werden und Evaluation als Beitrag zur Problemlösung aufgefaßt wird. Die Tätigkeit von Evaluatoren beschränkt sich nicht nur auf die des Wissenschaftlers, sondern beinhaltet auch die des Kommunikators und Moderators. Nicht jedes Evaluationsergebnis ist für alle Beteiligten akzeptabel (vgl. Diskussionen um Gesamtschulen, Psychotherapie, Lehrevaluation), kritische Resultate dürfen aus wissenschaftsethischen Gründen aber nicht zur Konfliktvermeidung geschönt werden.
Mehrere US-amerikanische Verbände aus Wissenschaft und Praxis haben versucht, in diesem Geflecht verschiedener Praxis-Anforderungen und wissenschaftlicher Standards Richtlinien für Personalevaluationen und Programmevaluationen aufzustellen. Diese Qualitätsmaßstäbe für die Durchführung und Bewertung von Evaluationen wenden sich gleichermaßen an Auftraggeber und Evaluatoren.

Methodisches Vorgehen
Evaluation beginnt mit einer Verständigung über Ziele, Bedingungen und Inhalte des Programms und der Evaluation mit dem Auftraggeber. Die Vereinbarungen (Zeit, Finanzierung, Berichtsverwendung etc.) werden in einem Vertrag festgelegt (Schritte 1-3 in Abb. ).
Es folgt (Schritte 4 und 5) eine Analyse der Ziele des Programms, der Institution oder der Personenaktivitäten unter Berücksichtigung von Ausgangsmerkmalen und Rahmenbedingungen sowie der Stimmigkeit von Aufgaben, Programm und Zielen. Dieses Evaluationsmodell steuert Schritte und Auswahl der konkreten Meßverfahren und benennt Bewertungskriterien. Wenn etwa bei Betreuungsmaßnahmen von Behinderten nur die Gewährung grundlegender Pflegemaßnahmen und nicht das Wohlbefinden der Behinderten geprüft wird, kann dies zur Verbesserung dieses Performanzindikators auf Kosten des vernachlässigten Wohlbefindens führen. Meßinstrumente müssen deshalb Phänomene und Effekte des zu untersuchenden Bereichs adäquat abdecken. Die vorempirische Phase der Evaluation endet mit einer Abstimmung des Evaluationskonzeptes mit Auftraggebern und Praktikern.
Der Hauptteil der Evaluation (Schritte 6 und 7) besteht aus Informationssammlung und -auswertung und damit verbundenen Interaktionen mit Auftraggebern und Praktikern. Die Auswertung sollte möglichst parallel zur Informationssammlung stattfinden, um durch laufende Rückmeldungen sowohl das Vorgehen der Evaluatoren als auch das der zu evaluierenden Institutionen optimieren zu können. Evaluationsdesigns mit multiplen Indikatoren verschiedener Größen (z.B. Beachtung kognitiver, affektiver und sozialer Merkmale in Förderprogrammen) ermöglichen Schlußfolgerungen auf einer breiten Basis. Gleiches gilt für mögliche (unbeabsichtigte) Verzerrungsvariablen, die mit spezifischen Einstellungen der Teilnehmer oder externen Bedingungen zusammenhängen können.
Meßwiederholungen mit identischen oder parallelen Instrumenten erlauben zwar präzise Veränderungsmessungen; die Veränderungen können allerdings auch allein durch den Einsatz des Instruments (Testweisheit) oder die Durchführung der Untersuchung (Hawthorne-Effekt) hervorgerufen werden. Deshalb sind zur Rückführung der Effekte auf das Programm eine oder mehrere Kontrollgruppen unverzichtbar, die mit gleichen Instrumenten zu mindestens zwei Meßzeitpunkten untersucht werden (Solomon-Vier-Gruppen-Design; Kausalität). Da Effekte nach Beendigung des Treatments nachlassen bzw. ganz verschwinden können, ist eine Nachmessung zu einem späteren Zeitpunkt (follow-up) angebracht. Nicht alle Evaluationen versuchen, Veränderungen durch Interventionen zu analysieren (Effektmessung). Oft sollen allein Qualität und Akzeptanz von Produkten, Prozesse in Institutionen oder die Übereinstimmung zwischen Konzeption und Realisierung von Programmen beschrieben und bewertet werden. Auch hier empfiehlt sich, Vergleichsgruppen oder normierte Tests heranzuziehen, weil sich sonst die gefundenen Ergebnisse kaum interpretieren lassen. Nur so läßt sich einschätzen, ob z.B. die Zufriedenheit "2" (auf einer Notenskala) der Eltern eines Kindergartens eine günstige Ausprägung ist.
Quantitative Methoden (z.B. Fragebögen, Tests) überwiegen in der Evaluationsforschung. Sie führen zu präzisen Bestimmungen von Ausgangsmerkmalen, Prozessen und Effekten. Statistische Analysen ermöglichen Prüfungen von Zusammenhängen oder Mittelwertsunterschieden mittels normierter Signifikanzniveaus und Effektstärken oder Vergleiche mit Normdaten. Oft fehlt diesen Resultaten jedoch die für Praktiker notwendige Anschaulichkeit. Qualitative Methoden (Experten- oder Praktikerrunden, informelle Beobachtungen) sind deshalb wichtige Ergänzungen (Forschungsmethoden).
Den Abschluß des Evaluationsprozesses (Schritt 8) bildet die Rückmeldung der Ergebnisse in einem Bericht oder einer Präsentation in verständlicher und attraktiver Form:
- deskriptive Informationen (Beschreibung der Ausgangs- und Endmerkmale, Prozesse, Rahmenbedingungen, Veränderungen) und begründete Erklärungen über eingetretene oder ausgebliebene Effekte;
- Prognosen zur Stabilität und Generalisierbarkeit der beobachteten Phänomene;
- Diskussion und Bewertung von Grad der Zielerreichung (Effektivität) und Effizienz (Verhältnis von Nutzen und Kosten): (a) Nutzen des Programms, z.B. positive Effekte für die Beteiligten, Relation Nutzen zum Aufwand (Effizienz) – bestimmt durch monetäre Ansätze sowie durch Einschätzungen von Beteiligten und Experten. (b) Nutzen der Evaluation, z.B. direkte, positiv bewertete Wirkungen auf die Programmgestaltung, indirekte und mittelfristige Wirkungen wie Förderung von Konsensbildung, Qualitätsbewußtsein oder Selbstevaluation.
- Empfehlungen. Bezugnahme auf Ergebnisse anderer Projekte und auf dem allgemeinen wissenschaftlichen Kenntnisstand;
- Bewertung der Evaluation: Metaevaluation anhand von Evaluationsstandards ergänzt den Endbericht (Personalevaluation-Standards; Programmevaluation). Berichte sollten in aussagekräftiger Form der wissenschaftlichen Öffentlichkeit zur Sicherung des Niveaus der Evaluationsforschung und für Metaanalysen zugänglich sein. Bei öffentlich finanzierten Evaluationen sind Geheimhaltungspflichten nicht vertretbar.
Die Entscheidungen (Fortführung, Modifikation, Beschäftigung von Personen usw.) fällen Auftraggeber, nicht die Wissenschaftler. Die Empfehlungen zeichnen sich durch wissenschaftliche Legitimation aus; die Verantwortung tragen jedoch die Auftraggeber, die durch Wahlen (Ministerien), Gesetze (Behörden) oder den Markt und Kunden (Wirtschaft) legitimiert sind.

Literatur
Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation. Berlin: Springer.
Joint Committee on Standards for Educational Evaluation (1994). The Program Evaluation Standards. Thousand Oaks: Sage.
Patton, M. Q. (1997). Utilization-focused evaluation. Thousand Oaks: Sage.
Rossi, P. H. & Freeman, H. E. (1993). Evaluation – A systematic approach. Newbury Park: Sage.
Wottawa, H. & Thierau, H. (1998). Lehrbuch Evaluation. Bern: Hans Huber.

Abb. Evaluation: Evaluationsprozeß.