Direkt zum Inhalt

Stiltransfer: Computer übersetzt ganze Filme in berühmte Malstile

Ein Algorithmus übersetzt komplette Filmszenen in den Stil berühmter Maler und Zeichner. Die Ergebnisse sind fast perfekt - und überaus beeindruckend.
Eine Szene auf dem Freiburger MünsterplatzLaden...

Zuletzt gingen Tübinger Forscher mit dem Computerprogramm DeepArt an die Öffentlichkeit. Es nutzte Methoden der künstlichen Intelligenz, um den Stil eines Gemäldes zu extrahieren und auf ein beliebiges anderes Foto zu übertragen. Nun legen ihre Kollegen der Universität Freiburg nach und präsentieren, aufbauend auf der Arbeit der Tübinger, ein Verfahren, mit dem sich ähnliche Effekte bei Filmen erzielen lassen: Ganze Szenen haben sie dazu vollautomatisch in den Malstil beispielsweise eines van Gogh übertragen. Wie das aussieht, zeigt ein Beispielvideo der Forscher.

© Computer Vision Freiburg
Szenen im Stil bekannter Maler

Die Ergebnisse der Gruppe um Thomas Brox sehen verblüffend realistisch nach Animationsfilm aus – und das, obwohl das Verfahren noch nicht einmal völlig ausgereift ist. So treten stellenweise Bildfehler auf, und die Rechenzeit ist mit zehn Minuten pro Bildframe extrem hoch; die Bearbeitung eines abendfüllenden Spielfilms steht derzeit eher nicht zur Debatte.

Um Filme derart zu stilisieren, genügt es nicht, jedes Einzelbild einer Bearbeitung zu unterziehen und diese dann aneinanderzureihen. Das Ergebnis wäre ein flackerndes Etwas, das der Betrachter nicht mehr interpretieren kann. Stattdessen mussten die Forscher einen Weg finden, die Bereiche, die von Bild zu Folgebild gleich bleiben, auch gleich zu verändern, sowie diejenigen Bereiche, die neu hinzukommen, sinnvoll an das Vorhandene anzugleichen. Zur Hilfe kommt ihnen dabei, dass die ihrer Technik zu Grunde gelegten künstlichen neuronalen Netzwerke zu einer komplexen Analyse der Szene in der Lage sind – anders als simple Photoshop-Filter können sie Bildelemente auseinanderhalten und zu den stilistischen Merkmalen des Ausgangsbilds in Beziehung setzen. Dadurch kopiert die Software nicht einfach "blind" die oberflächlichen Muster eines Ausgangsbilds, sondern macht sich die hinter diesen Mustern stehenden Gestaltungselemente des Künstlers oder der Künstlerin zu Nutze.

20/2016

Dieser Artikel ist enthalten in Spektrum - Die Woche, 20/2016

Lesermeinung

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Leserzuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Leserzuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmer sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Lesermeinungen können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Partnervideos