Die pixelige Darstellung von Minecraft hat inzwischen Kultstatus. Bei dem Computerspiel geht es darum, eine offene Welt zu erkunden und Gebäude zu errichten. Mit mehr als 300 Millionen verkauften Exemplaren ist es das meistverkaufte Computerspiel. Und es dient inzwischen als Testballon für KI-Modelle. Nun stellen Forschende um Timothy Lillicrap von Google DeepMind in der Fachzeitschrift »Nature« einen KI-Algorithmus vor, der erstmals ohne spezielles Training und menschliche Daten eigenständig gelernt hat, Diamanten in der Computerspielwelt abzubauen – eine Handlung, die langfristiges strategisches Denken erfordert.

»Minecraft stellt gleich zwei besondere Herausforderungen an KI-Algorithmen«, sagt der Informatiker Philipp Hennig, der nicht an der aktuellen Arbeit beteiligt war. Erstens sehe die zufällig erzeugte Spielwelt bei jeder Partie anders aus, wodurch die Modelle keine feste Handlungsabfolge auswendig lernen könnten, um gut abzuschneiden. »Zweitens verlangt das Spiel nach vergleichsweise langfristigen Plänen.« Dies betreffe unter anderem den Abbau von Diamanten. Denn der erfordert viele aufeinander folgende Schritte, die nur spärlich belohnt werden – erst ganz am Ende zahlt sich die Handlung aus. Deshalb wurde der Diamantabbau in Minecraft zu einem Testballon für die Entwicklung von vorausschauenden KI-Modellen. Zwischen 2019 und 2022 fanden sogar Wettbewerbe dazu statt. »Dreamer ist der erste Algorithmus, der in Minecraft selbstständig Diamanten abbaut und damit einen wichtigen Meilenstein auf dem Gebiet der künstlichen Intelligenz erreicht«, schreiben die Fachleute von DeepMind in ihrer Veröffentlichung.

Der Dreamer-Algorithmus lernt durch so genanntes Reinforcement Learning eigenständig aus Interaktionen mit der Umgebung. Erzielt die KI durch eine Handlung in Minecraft beispielsweise Punkte, dann lernt sie, dass sich diese Aktion auszahlt – und wird sie wahrscheinlich künftig wiederholen. Dreamer besteht dabei aus drei Teilen: »Das erste Modell sagt die Folgen möglicher Handlungen voraus, ein kritisches neuronales Netz beurteilt den Wert der jeweiligen Folgen, und das dritte neuronale Netz wählt dann die Handlungen aus, um die besten Ergebnisse zu erzielen«, lässt sich im Paper nachlesen. So konnte das KI-Modell mehr als 150 verschiedene Aufgaben in Minecraft erlernen.

»Aus heutiger Sicht sind die Fähigkeiten der Dreamer-Architektur etwas weniger beeindruckend«Philipp Hennig, Informatiker

Die Arbeit wurde zwar erst im April 2024 bei »Nature« veröffentlicht, stammt aber schon von Januar 2023 – zu diesem Zeitpunkt reichte DeepMind sie zur Begutachtung ein. »Sie wurde damals als großer Erfolg wahrgenommen, weil die offene Minecraft-Spielwelt als anspruchsvolle Benchmark galt«, sagt Hennig. Aber: »Seitdem hat die künstliche Intelligenz bekanntlich große Sprünge gemacht.«

»Aus heutiger Sicht sind die Fähigkeiten der Dreamer-Architektur etwas weniger beeindruckend«, urteilt Hennig. So erschien beispielsweise im November 2024 eine noch nicht begutachtete Forschungsarbeit, bei der mehrere große Sprachmodelle mehr als 1000 Minecraft-Charaktere kontrollierten und dabei erstaunlich menschliche Verhaltensweisen an den Tag legten: Die KI-Spieler nahmen unterschiedliche Rollen ein, etwa Verteidiger, Erbauer oder Erkunder, und einige brachen sogar zu missionarischen Reisen auf. Mal sehen, wie lange es dauert, bis diese Arbeit in einem Fachjournal erscheint.