Direkt zum Inhalt

Synthesizer: Mittels Handgesten Sprache erzeugen

Sprachsynthesizer
Ein System aus tragbarem Computer, zwei Datenhandschuhen und weiteren Sensoren erlaubt es, mittels Handbewegungen verständliche Sprachlaute zu erzeugen und sogar zu singen. Weil sich die Steuerung an der natürlichen Artikulation orientiert, kann der Benutzer jede beliebige Sprache erklingen lassen, berichten Wissenschaftler um Sidney Fels und dem Komponisten Bob Pritchard von der University of British Columbia in Vancouver. Den neuesten Prototyp ihres "digitalen Bauchredners" (DIVA – DIgital Ventriloquist Actor) stellten sie jetzt der Öffentlichkeit vor.

© Bob Pritchard
Sprechen mit DIVA
Indem sie mit ihren Händen die Artikulationsbewegungen im Mund nachahmt, kann die Benutzerin den "digitalen Bauchredner" zum Sprechen bringen – hier wird sich auf Japanisch unterhalten:
Konnichiwa. (Guten Tag)
Kore wa DIVA desu. (Dies hier ist DIVA)
Domo arigato gozaimasu. (Danke schön)
Sayonnara. (Auf Wiedersehen)
Anders als bei der Gebärdensprache stehen bei DIVA Gesten für einzelne Laute: "Der Anwender soll sich seine Hand wie einen Mund vorstellen", schreiben die Wissenschaftler. Mit den Handbewegungen werden dann beispielsweise die Positionen von Kiefer und Zunge imitiert. Vokale und die Mehrzahl der Konsonanten erzeugt die rechte Hand; sie kontrolliert außerdem die Tonhöhe. Mit der Linken werden dagegen Verschlusslaute wie [p], [t] und [k] gebildet. Auch die relative Position der Hände zum Körper wird erfasst und fließt in das Datenmaterial ein, das dem Sprachsynthesizer zur Verfügung gestellt wird. Dieser gibt die Klänge schließlich per Lautsprecher aus.

Mobiles Gerät | Der Protoyp ist bereits tragbar: Zwei Datenhandschuhe steuern die Eingabe, ein Entfernungssensor erfasst außerdem die Positionen der Hände. Ebenfalls wichtig: Mit einem Fußschalter stellt man die Lauterzeugung ab.
DIVA funktioniere damit eher wie ein virtuelles Musikinstrument, das auch Sprache und Gesang erzeugen könne, so die Forscher. Zwar könne sich das System auf einzelne Anwender einstellen und deren individuelle Spielweise erlernen, dennoch sei umfangreiches Üben notwendig.

Mit DIVA verfolgt das Team um Fels und Pritchard eine gemischte Strategie: Zum einen könnte das System eines Tages Menschen mit Sprechbehinderungen helfen, zum anderen planen die Wissenschaftler seinen Einsatz auf der Bühne: Es existieren bereits Kompositionen, die von Musikern mit Hilfe des Synthesizers zu Gehör gebracht werden können. Eine erste Aufführung fand im Januar 2009 in Japan statt.

Darüber hinaus entwickeln die kanadischen Wissenschaftler weitere Anwendungen, die es erlauben, parallel zur Lauterzeugung die Mimik eines computergenerierten Gesichts zu steuern. (jd)

Schreiben Sie uns!

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Zuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Zuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmende sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Zuschriften können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Partnerinhalte

Bitte erlauben Sie Javascript, um die volle Funktionalität von Spektrum.de zu erhalten.