Als Sam Bowman, Computerlinguist an der New York University, im Herbst 2017 die mageren Ergebnisse seiner eigenen Disziplin analysierte, trieb ihn vor allem eine Erkenntnis um: Nicht nur waren die Rechner weit davon entfernt, einen geschriebenen Text annähernd so zu verstehen wie ein Mensch; was fehlte, war außerdem ein brauchbarer Test für ihre Fähigkeiten. Eine Methode, mit der man unterschiedliche Ansätze vergleichen könnte – ein Benchmark, wie der Fachmann sagt. Kurz darauf hatte Bowman einen solchen Test entwickelt.

Im April 2018 veröffentlichte er gemeinsam mit Kollegen von der University of Washington und DeepMind, Googles eigener KI-Forschungsfirma, einen Fachartikel, in dem sie neun Aufgaben vorstellten. Anhand dieser sollte sich zeigen, ob ein Computer in der Lage ist, den Inhalt eines Textes zu verstehen. GLUE (General Language Understanding Evaluation, zu Deutsch etwa: Beurteilung des allgemeinen Sprachverständnisses) war so gestaltet, dass er »ziemlich genau all das abfragte, was nach Meinung der Forschergemeinde den Computer vor spannende Herausforderungen stellt«, erklärt Bowman. Für Menschen seien die Aufgaben allesamt »gut machbar«. Beispielsweise verlangt eine Unteraufgabe anzugeben, ob ein Satz wahr oder falsch ist, wobei der vorhergehende Satz das nötige Hintergrundwissen liefert. Wenn Sie aus dem Satz »Präsident Trump landete im Irak für einen sechstägigen Staatsbesuch« folgern können, dass der Satz »Präsident Trump ist auf Auslandsbesuch« wahr ist, haben Sie soeben bestanden!

Die Maschinen versagten reihenweise. Sogar nach allen Regeln der Kunst gebaute künstliche neuronale Netze kamen mit 69 von 100 Punkten nicht über eine Vier plus in Schulnoten hinaus. Das überraschte weder Bowman noch seine Koautoren. Zwar hatten ...