Pacman, die Mario Brothers und Donkey Kong – die ersten digitalen Charaktere waren wenig real wirkende Helden in Computerspielen. Mittlerweile avancieren Avatare, wie man die virtuellen Personen nennt, zu Stars in Werbespots oder Musikvideos. Besonders problematisch für ihre Entwickler sind Bewegungen, insbesondere der Gesichtszüge.

Tatsächlich empfiehlt es sich oft, die Bewegungen eines wirklichen Menschen aufzuzeichnen und dann auf das künstliche Wesen zu übertragen. Ein solches "Motion Capturing" für kommerzielle Anwendungen entwickelte der amerikanische Werbefilmer Bob Abel 1984 für den Spot "Brilliance". Ein weiblicher Chrom-Roboter sollte darin als Sprecherin der nationalen Vereinigung von Dosenfutterherstellern auftreten. Abels Team steckte eine Schauspielerin in ein hautenges Trikot und zeichnete darauf 18 Markierungen mit schwarzem Filzstift. Ihr Spiel, die "Performance", nahmen sie aus verschiedenen Winkeln auf und digitalisierten den Film. Anhand der Daten über Brennweiten, Kameraausrichtungen und –positionen ermittelten die Tricktechniker aus den Markeraufnahmen deren Position (die Annahme dabei: Markierungen befinden sich in den Kreuzungspunkten idealisierter Lichtstrahlen, die auch durch die Objektive verlaufen). Die Berechnungen, per Hand in wochenlanger Arbeit durchgeführt, lieferten Bewegungskurven der einzelnen Gelenke. Auf entsprechende Körperpunkte des computergenerierten Roboters übertragen, verhalfen sie ihm zu überzeugenden Aktionen. Dank "Brilliance" hielt das so genannte Optische Motion Capturing trotz hoher Kosten Einzug in die Fernseh- und Filmindustrie.

Mittlerweile gibt es verschiedene Verfahren, die sich vor allem hinsichtlich Genauigkeit und Aufwand unterscheiden. Ihnen allen ist gemein: Menschen liefern Bewegungsdaten, die auf ein Skelett aus geometrischen Formen, so genannten Polygonen, übertragen werden. Professionelle Motion-Capturing-Systeme, Software für eine automatische Auswertung der digitalen Bilder eingeschlossen, erleichtern dem Animateur die Arbeit.

Die höchste Präzision erreicht nach wie vor die geschilderte optische Variante, das heißt das Aufnehmen des sich bewegenden "Performers", der selbstleuchtende oder Licht reflektierende Marken trägt. Die Komplexität menschlicher Bewegungen erfordert oft mehrere Marker pro Gelenk. Heutige Systeme erfassen oft mit Dutzenden von Kameras Hunderte solcher Punkte mit bis zu 1000 Bildern pro Sekunde. Die Software erhält von ihnen Raumkoordinaten, bestimmt daraus Bewegungskurven für jeden Marker und überträgt diese auf die korrespondierenden Punkte des virtuellen Skeletts (während ein Avatar für das Internet aufgrund der meist geringen Datenraten nur recht grob aus relativ wenigen solcher Vielecke aufgebaut sein kann, umfasst eine Figur wie E-Cyas theoretisch unendlich viele: Nähert sich die virtuelle Kamera, wird der entsprechende Bereich immer feiner unterteilt).

Der Aufwand lohnt sich: Die Bewegungen von Avatar und Performer stimmen dann auf bis zu zwei Millimeter überein. Das gelingt sogar in Echtzeit, das heißt: Mensch und Maschinenwesen führen zeitgleich identische Aktionen aus. Dies kommt bei Live-Auftritten zum Einsatz, meist arbeitet dabei der Performer hinter der Bühne, allein schon, um störende Blitzlichter aus dem Zuschauerraum zu vermeiden. Solche High-End-Systeme werden aber auch von Orthopäden genutzt, etwa um Bewegungsabläufe von Leistungssportlern zu optimieren oder Haltungsschäden zu untersuchen. Diese Präzision hat allerdings ihren Preis: Zehn HighSpeed-Kameras, die mit Stroboskopen Lichtblitze zu den reflektierenden Markern senden sowie die Hard- und Software für die Digitalisierung und Auswertung der Videodaten kosten bei der genannten Genauigkeit etwa 300000 US-Dollar.

Nur mit etwa einem Sechstel davon schlägt das elektromagnetische Motion Capturing zu Buche. Der Performer bewegt sich in einem Magnetfeld. Als Markierungen trägt er Sensoren, die Lage, Entfernung und Winkel zum Sender des Feldes erfassen und einer Steuereinheit übermitteln. Diese berechnet nicht nur Koordinaten, sondern auch die Ausrichtung der Sensoren im Raum. Solche Systeme sind weit verbreitet, zumal sie in Echtzeit leichter zu handhaben sind. Allerdings lassen sich nicht so viele Sensoren einsetzen wie Stiftmarkierungen (reflektierende Marker) bei der optischen Variante. Außerdem mindern metallische Gegenstände in der näheren Umgebung die Qualität der Daten.

Die einfachste und älteste Variante des Motion Capturing schließlich nutzt einen elektromechanischen Anzug, bei dem die Rotation der Gelenke durch Drehwinkelsensoren gemessen wird. Leider bieten solche Anzüge meist nur wenig Bewegungsfreiheit, die Systeme sind überdies aufgrund der mechanischen Komponenten sehr fehleranfällig. Das größte Manko aber ist, dass die Sensoren zwar die Körperaktionen, nicht aber die Position des Schauspielers im Raum messen können. Ein derart animierter Avatar beginnt leicht zu "schwimmen": Scheinbar ohne Bodenkontakt tanzt er auf der Stelle.

Aus diesem Grunde entschied sich unser Unternehmen, bei der Realisierung eines Musikvideos das optische Motion Capturing einzusetzen. Das Konzept verlangte eine zur Musik passende virtuelle Umgebung, in der ein weiblicher Avatar agiert, dabei aber so "echt" wie möglich wirkt. Wir kreierten E-Sha, eine attraktive Sängerin und Tänzerin. Ihrem natürlichen Vorbild stand eine Fläche von fünf mal sieben Metern zur Verfügung, die teilweise mit Podesten versehen war, um Sprünge zu ermöglichen, wie sie E-Sha in den Computerlandschaften vollführen sollte. Zehn Kameras nahmen die mit 36 Markern versehene Tänzerin 120-mal pro Sekunde auf. Das "Skelett" E-Shas wurde in dreißig gelenkig verbundene Segmente unterteilt, davon neun für die Wirbelsäule.

Um die Bewegungen so natürlich wie möglich zu gestalten, übertrugen die Animateure nicht nur die einzelnen Marker-Koordinaten Bild für Bild auf die korrespondierenden Punkte des Avatars, sondern analysierten die Daten von zwei oder drei realen Markern auf gemeinsame Bezüge hin und übertrugen diese auf virtuelle. Insbesondere die oftmals problematischen Bewegungen der gelenkigen Verbindungen wirkten dadurch sehr realistisch.

E-Sha sollte aber nicht nur tanzen, sondern auch singen. Es lag nahe, auch die Gesichtsmimik mittels Motion Capturing zu erfassen. Weil im Handel erhältliche Werkzeuge nicht die gewünschte Qualität lieferten, entwickelten wir ein eigenes System. FaceCap verwendet nur Gesichtsmuskeln, die laut Studien für eine natürlich wirkende Mimik besonders wichtig sind. Davon wurden 25 ausgewählt und teilweise noch in Segmente unterteilt, beispielsweise um die Bewegungen des ringförmigen Lippenmuskels differenziert zu erfassen. Diesen Segmenten entsprachen Marker, die der Schauspieler trug, sowie virtuelle Marker auf den Flächen des modellierten Gesichts. Damit ließ sich die Mimik recht gut erfassen, doch Handkorrekturen blieben häufig notwendig. Besonders schwer ist es, die Kontraktionen einzelner Muskeln zu isolieren, da beispielsweise um den Mund herum fünf und mehr gleichzeitig arbeiten.

Freilich stößt auch das Motion Capturing an seine Grenzen, und dann ist der Animateur auf seine Kreativität angewiesen. Eine Filmsequenz von wenigen Minuten erfordert dementsprechend oft Wochen an harter Arbeit. Doch die Mühe lohnt sich: Nur wenn virtuelle Figuren anscheinend den gleichen physikalischen Gesetzen unterliegen wie die Zuschauer, wirken sie im Film auch glaubhaft.

Aus: Spektrum der Wissenschaft 3 / 2001, Seite 93
© Spektrum der Wissenschaft Verlagsgesellschaft mbH