Direkt zum Inhalt

News: Noten nach Computermaß

Wer fühlte sich niemals bei der Benotung einer Klausur ungerecht behandelt? Viele Schüler oder Studenten sind sich nicht sicher, ob an ihren Aufsatz genau die gleichen Maßstäbe angelegt wurden, wie zum Beispiel an denjenigen des Nachbarn. Aber jetzt könnte ein wahrhaft Unparteiischer das Urteil übernehmen: Der Computer.
Es ist nicht einfach, das Wissen gerecht zu beurteilen, welches in einem Aufsatz enthalten ist, in dem Fachkenntnisse geprüft werden. Ältere Methoden zur automatischen Bewertung von Aufsätzen zählen häufig einfach die Wörter und analysierten dann mechanische Gesichtspunkte und grammatikalischen Stil.

Jetzt wurde eine Software entwickelt, die in der Lage sein sollte, den Inhalt von Aufsätzen genau so gut wie ein menschlicher Gutachter zu beurteilen. Vorgestellt wurde dieses System von Darell Laham von der University of Colorado in Boulder und Peter Foltz von der New Mexico State University auf dem Jahrestreffen der American Educational Research Association in San Diego am 16. April 1998.

Das neue System verwendet die "latente semantische Analyse", einen neuen Typ künstlicher Intelligenz, die einem neuronalen Netz sehr ähnlich ist. "In gewisser Weise wird versucht, die Funktion des menschlichen Gehirns zu imitieren", sagte Laham.

Zunächst wird die Software mit Informationen über ein bestimmtes Thema in der Form von 50 000 bis 10 Millionen Wörtern aus Online-Lehrbüchern oder anderen Quellen "gefüttert". Das Programm lernt anhand des Textes und weist dann der Bedeutung eines Wortes und eines beliebigen anderen Wortes einen mathematischen Grad der Ähnlichkeit oder "Entfernung" zu. Dadurch können Studenten verschiedene Wörter mit derselben Bedeutung verwenden und trotzdem die gleiche Note erhalten. Sie könnten zum Beispiel "Doktor" anstelle von "Arzt" schreiben.

Beim Einsatz der Software können zwei verschiedene methodische Ansätze gewählt werden. Der erste besteht darin, daß zunächst Lehrer oder Professoren genügend Aufsätze bewerten, um eine brauchbare statistische Probe zu erhalten und um dann die Software zur Benotung der verbliebenen Aufsätze zu nutzen. "Das Programm nimmt die Wortkombinationen im Aufsatz des Studenten und berechnet die Ähnlichkeit mit der Wörterkombination im Vergleichsaufsatz", erläuterte Laham. Danach erhält der Student die gleiche Note wie jene vom Lehrer auf herkömmliche Art benoteten Aufsätze, denen er am ähnlichsten ist.

"Das Programm geht bei der Bewertung unglaublich konsequent vor – eine Eigenschaft, die menschliche Bewertung fast nie zeigt", sagte Laham. "Dem System wird nie langweilig, es ist nie in Eile, schläfrig, ungeduldig oder vergeßlich." Bei einem Versuch haben sowohl der Intelligent Essay Assessor als auch Fakultätsmitglieder Aufsätze von 500 Psychologiestudenten der University of Colorado in Boulder bewertet. "Die Übereinstimmung bei den Noten war sehr hoch ...", bemerkte Landauer.

Den Forschern zufolge benotet die Software nur inhaltliches Wissen. Sie soll nicht dazu dienen, Aspekte wie Grammatik und Rechtschreibung einzubeziehen. Diese Funktionen können durch schon existierende Programme abgedeckt werden.

Die zweite Methode zur "Intelligenten Aufsatzbewertung" vergleicht alle Studentenaufsätze mit einem einzigen, sog. "goldenen Standard" – einem von einem Professor oder Experten verfaßten Aufsatz.

Die Software kann sogar die Studenten darüber informieren, welche wichtigen Themenbestandteile in ihren Werken fehlten und wo diese im Lehrbuch zu finden sind.

Nach Meinung der Wissenschaftler gibt es eine enge Verbindung zwischen jenen Studenten, die besonders lange Texte verfassen und jenen, die besonders gute Noten erzielen: Wer viel weiß, schreibt viel. Auch beim Intelligent Essay Assessor zählt der Inhaltsumfang, doch wird dieser anhand von Konzepten, nicht nach der Wörterzahl gemessen. Die Forscher empfehlen, für die Wortanzahl im Aufsatz einen Grenzwert anzusetzen, um die Länge als Faktor auszuschließen.

Da das System nicht die Satzstrukturen und -zusammenhänge analysiert, könnte man den Forschern zufolge im Aufsatz alle richtigen Wörter völlig durcheinandergewürfelt schreiben und so eine gute Note erzielen. Aus diesem und anderen Gründen markiert das System ungewöhnliche Aufsätze, so daß sie von einem Lehrer geprüft werden können. Doch das Team entdeckte sogar eine noch bessere Schutzmethode, während es versuchte, das Programm auszutricksen: "Es stimmt, wenn man einen guten Aufsatz schreibt und dann die Wörter durcheinanderwürfelt, bekommt man eine gute Note", sagte Landauer. "Doch versuchen Sie mal, die guten Wörter zu finden, ohne einen guten Aufsatz zu schreiben! Wir haben versucht, schlechte Aufsätze zu schreiben und dafür gute Noten zu bekommen, und manchmal ist es uns auch gelungen – wenn wir den Stoff wirklich gut kannten. Die leichteste Methode, das System auszutricksen, besteht darin, fleißig zu lernen, den Stoff zu beherrschen und einen guten Aufsatz zu schreiben!"

Lesermeinung

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Leserzuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Leserzuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmer sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Lesermeinungen können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Partnervideos