Besucher einer künstlichen, durch einen Computer erzeugten Welt sollten im Idealfall darin so agieren können wie in einer realen Umgebung. Dazu müßten sie die synthetischen Gegenstände mit mehreren Sinnesorganen wahrnehmen, Objekte also nicht nur sehen, sondern auch berühren, ertasten, bewegen und hören können (sie überdies zu riechen und zu schmecken bleibt vorerst Science-fiction).

Dann wäre es beispielsweise einem Architekten möglich, in der Planungsphase die nach seiner Vorstellung simulierte Konzerthalle zu begehen und ihre Raumakustik zu prüfen; Modifikationen etwa des Wandmaterials oder der Position akustisch wirksamer Elemente vermöchte er dabei unmittelbar zu testen. In Telekonferenzen könnten die Teilnehmer in einem virtuellen Raum zusammenkommen, dessen simulierte akustische Eigenschaften eine reale Tischrunde vortäuschten. Denkbar sind vielfältige weitere Anwendungen, von der Unterhaltung über Ausbildung und Training bis zur Medizin, etwa daß sich ein Chirurg im vergrößerten Modell des Patienten umtut und seine Aktionen in Steuersignale für Operationsroboter umgesetzt werden, die den eigentlichen Eingriff vornehmen.


Positionierung des Benutzers

Damit man mit einer solchen Scheinwelt und ihren Objekten wechselwirken kann, müssen zunächst die Bewegungen relevanter Körperteile mit Sensoren aufgenommen und digitalisiert werden; beispielsweise lassen sich die von Kopf und Händen mit einem elektromagnetischen Positions- und Orientierungsmeßsystem erfassen. Die Daten werden mit einem vorgegebenen Modell der virtuellen Umgebung – Weltmodell genannt – verglichen, um daraus wiederum dessen Reaktionen auf die Aktionen des Benutzers zu berechnen und mittels Displays darzubieten. Diese überdecken die Wahrnehmung der tatsächlichen Umgebung. Zur visuellen Simulation verwendet man meist Helme mit integrierten Monitoren, deren Bild das gesamte Blickfeld abdecken und die mittels binokularer Projektion dreidimensionale Eindrücke erzeugen (Spektrum der Wissenschaft, Mai 1990, Seite 46).

Ein gut geeignetes Display für das Gehör ist der Kopfhörer. Eine einfache Ausgabe von herkömmlichen Stereoaufnahmen wie bei der häuslichen Musikanlage reicht jedoch bei weitem nicht aus, weil man dabei die Schallquellen in der Regel innerhalb des Kopfes lokalisiert. Die binaurale Simulationstechnik, die natürlich wirkende dreidimensionale Wahrnehmungen von Tönen, Sprache und Geräuschen erzeugt, steht derzeit allerdings noch in ihren Anfängen; sie ist – ebenso wie die Entwicklung von Displays für Berührungsreize – Schwerpunkt des vom Lehrstuhl für Allgemeine Elektrotechnik und Akustik der Ruhr-Universität Bochum unter der Leitung von Jens Blauert konzipierten und koordinierten europäischen Forschungsverbundprojekts SCATIS (spatially coordinated auditory/tactile interactive scenario).


Auditive Simulation

Das Gehör des Menschen vermag auditorische Parameter wie Richtung und Entfernung von Schallquellen zu bestimmen. Erst dadurch ist es unter anderem möglich, sich bei mehreren gleichzeitig aktiven Quellen auf eine zu konzentrieren, statt etwa in einem Stimmengewirr gar nichts zu verstehen (sogenannter Cocktail-Party-Effekt).

Dazu wird allein der zeitliche Verlauf des Schalldrucks an beiden Ohren herangezogen. Außer den monauralen, also für beide Ohren gleichen Merkmalen, geben insbesondere interaurale wie Pegel- und Laufzeitunterschiede, die durch unterschiedliche Abstände beider Ohren von der Schallquelle zustande kommen, die erforderlichen Informationen. Wichtig für die dreidimensionale Wahrnehmung ist des weiteren die richtungsabhängige Veränderung des wahrgenommenen Frequenzspektrums, denn das menschliche Außenohr wirkt wie ein Filter: Seine Form sowie die des Kopfes und der Schultern haben zur Folge, daß je nach Einfallswinkel verschiedene Frequenzanteile mit unterschiedlicher Intensität zum Trommelfell gelangen.

Um eine Person in eine dreidimensionale auditive Scheinwelt zu versetzen, bedarf es also einer realitätsgetreuen Modellierung und Darbietung der Schalldrucksignale an beiden Ohren. Interaurale Pegel- und Laufzeitunterschiede sowie die Filterwirkung des Außenohres bestimmt man an Versuchspersonen mit Miniatur-Meßmikrophonen in den Gehörgängen, deren Signale bei Beschallung aus unterschiedlichen Richtungen in reflexionsarmer Umgebung aufgezeichnet werden. Mit Hilfe der so gewonnenen Außenohr-Übertragungsfunktionen beziehungsweise -Impulsantworten lassen sich nun Schallereignisse synthetisieren, die über Kopfhörer wahrgenommen werden, als wären sie außerhalb des Kopfes an entsprechenden Positionen entstanden.

Mit dieser Technik sind bereits einfache akustische Simulationen in virtuellen Umgebungen möglich. Dazu muß man nur messen, wie der Benutzer seinen Kopf hält, um die relative Position der – ortsfesten – virtuellen Schallquellen und so die jeweils adäquate Einfallsrichtung bei der Synthese zu berücksichtigen. Verfolgt man zusätzlich die Handposition, kann der Hörer quasi manuell verschiedene virtuelle Schallquellen so in den freien Raum stellen, wie es ihm beliebt.


Simulation der Raumeigenschaften

Eine solche Simulation berücksichtigt zwar die Positionen von Hörer und Schallquellen, jedoch noch keine raumakustischen Aspekte. Aus dem Gehörten schließt man aber auch auf die Umgebung zurück – Sprache klingt zum Beispiel in einem kleinen Zimmer anders als in einer großen Halle: Der Schall wird an Wänden und Objekten teilweise reflektiert und trifft dadurch verzögert beim Hörer ein; je nach Einfallswinkel und reflektierendem Wandmaterial wird er zudem spektral verändert. Außerdem dämpft ihn die Reibung der schwingenden Luftmoleküle.

Wollte man das Schallfeld exakt berechnen, müßte seine physikalische Beschreibung – die entsprechende Wellen- beziehungsweise Differentialgleichung – gelöst werden, was meist nicht explizit, sondern nur numerisch möglich ist. Doch wäre auch dafür der Rechenaufwand zu hoch, als daß er sich mit heutigen Mitteln in akzeptabler Zeit bewältigen ließe. Nimmt man aber an, daß die Wellenlänge des Schalls klein gegenüber den linearen Abmessungen der reflektierenden Flächen und groß gegenüber deren Rauhigkeiten ist, ergibt sich aus der Wellengleichung als einfachere Darstellung die geometrische Akustik. Wie in der Optik das Licht modelliert man Schall darin als einen von der Quelle ausgehenden Strahl, der sich geradlinig ausbreitet und an Flächen reflektiert wird, wobei auch hier der Einfalls- gleich dem Ausfallswinkel ist. Zwar trifft die Grundannahme bei hörbarem Schall mit Wellenlängen von etwa zwei Zentimetern bis acht Metern so gut wie nie zu, doch liefert das Verfahren trotzdem brauchbare Ergebnisse; Effekte der Wellenausbreitung wie Streuung und Beugung vermag man damit allerdings nicht zu beschreiben (Spektrum der Wissenschaft, Januar 1994, Seite 108).

Zur Simulation könnte man von der Quelle Schallstrahlen oder andere Formen wie etwa Kegel ausgehen lassen und ihren Weg verfolgen; alle, die nach einer oder mehreren Reflexionen auf den Hörer treffen, wären bei der Darbietung zu berücksichtigen. Auch diese Strahlverfolgung ist aber noch so rechenintensiv, daß wir statt dessen das sogenannte Spiegelschallquellen-Verfahren einsetzen: Die akustischen Wirkungen einer Wand – also Reflexion und Dämpfung – lassen sich nachahmen, indem man die primä-re Schallquelle spiegelt, wie auch durch Reflexion von Licht an einer spiegelnden Oberfläche hinter ihr scheinbar ein Abbild seiner Quelle entsteht (Bild 1).

Die Spiegelschallquelle wird als sekundäre Schallquelle erster Ordnung bezeichnet; mehrfache Reflexionen ergeben sekundäre Schallquellen höherer Ordnung. Ihre Signale errechnen sich aus dem der Primärquelle durch linea-re Filterung, wobei deren Koeffizien-ten Einfallsrichtung, materialabhängige Reflexionseigenschaften der Wände, Dämpfung im Ausbreitungsmedium und die Richtcharakteristik der Quellen modellieren.

Das hörbare Schallsignal ergibt sich aus der Verteilung der Sekundärquellen und der Position des Hörers. Bei dieser sogenannten Auralisierung behandelt man die Spiegelschallquellen technisch mit dem gleichen Verfahren wie die primäre Quelle, ermittelt also jeweils die relative Lage zum Hörer und wendet die der Einfallsrichtung entsprechenden Außenohr-Impulsantworten an.

Da sich der Benutzer in der virtuellen Umgebung frei zu bewegen vermag, sind bei jeder Positionsänderung eine neue Spiegelschallquellen-Verteilung zu berechnen und die Auralisierungsparame-ter anzupassen. Damit das Hörerlebnis räumlich und zeitlich konsistent wirkt, muß dies so oft und schnell geschehen, daß die Verzögerung zwischen einer Aktion und der zugehörigen Adaption der Kopfhörersignale nicht wahrgenommen wird. Die psychoakustische Schwelle dafür liegt im Bereich von einigen Millisekunden, was hohe Anforderungen an Hardware und Algorithmen stellt.

Das im Rahmen von SCATIS entwickelte System erlaubt bis zu 80 vollständige Berechnungen des Schallfeldmodells pro Sekunde bei Räumen mit geringer bis mittlerer geometrischer Komplexität (Bild 2). Dabei werden Reflexionen bis zur zweiten Ordnung exakt simuliert, da sie für den Raumeindruck besonders wichtig sind. Spätere lassen sich durch adaptive Nachhall-Algorithmen erzeugen, die nur noch geeignete statistische Eigenschaften und nicht mehr individuelle Parameter einzelner Reflexionen berücksichtigen.

Das System ist modular aufgebaut und auf einem Netz anwendungsspezifischer Hardware implementiert, wobei alle Module als eigenständige Prozesse sowohl quasiparallel auf einem Prozessor als auch vollständig parallel auf mehreren Prozessoren laufen können. Dadurch ist es sowohl in bezug auf die gewünschten Komponenten einer konkreten Anwendung als auch in der Komplexität der Modelle frei skalierbar, und ein visuelles System läßt sich ohne großen Aufwand anbinden. Der zentrale Steuerprozeß läuft auf einer Workstation; er vermittelt und synchronisiert die Kommunikation zwischen den Modulen. Die von Sensoren (hier der Meßeinheit für die Kopfposition) eintreffenden Daten werden von ihr gefiltert und weitergeleitet. Zur Auralisierung in Echtzeit dient ein speziell entwickeltes Netzwerk aus parallel arbeitenden digitalen Signalprozessoren, welche die erforderlichen Filterungen vornehmen.


Virtuelle taktile Umgebung

Innerhalb der synthetischen Umgebung soll es auch möglich sein, mit der Hand Form, Oberflächenstruktur und Temperatur darin enthaltener Objekte zu ertasten. Dafür wurde eine spezieller Handschuh entwickelt, der sich von den bisher gängigen Datenhandschuhen deutlich unterscheidet (vergleiche Spektrum der Wissenschaft, Dezember 1987, Seite 98).

Die Position der Hand mit dem Unterarm als Referenzpunkt vermißt wieder ein elektromagnetisches System. Alle anderen Parameter, etwa die Stellungen des Handgelenks mit drei und die der Finger mit 20 Freiheitsgraden werden mechanisch mit großer Präzision überwacht (kommerzielle Systeme berücksichtigen nur wenige Gelenke mit relativ geringer Genauigkeit). Nach dem Vergleich aller Meßdaten mit dem Weltmodell lassen sich Hand/Objekt-Schnittfiguren berechnen, die angeben, welche Teile der Fingeroberfläche die virtuellen Gegenstände scheinbar berühren.

Deren Attribute wie Oberflächenbeschaffenheit und Temperatur vermitteln der Versuchsperson dann eigens entwickelte Effektoren. Um rauhe Oberflächen, Ecken und Kanten nachzubilden, läßt sich die Eindringtiefe zahlreicher kleiner Nadeln auf der Oberfläche der Fingerspitzen individuell verändern, wobei ein mit dem Druckkopf eines Nadeldruckers vergleichbarer Mechanismus verwendet wird. Die Objekttemperaturen simulieren miniaturisierte Peltier-Elemente, die aus zwei verschiedenen aufeinandergeschichteten Metallen bestehen und bei Anlegen einer Spannung an einer Seite kühl und an der anderen warm werden; den Effekt hatte der französische Uhrmacher und Physiker Jean-Charles-Athanase Peltier (1785 bis 1845) entdeckt.

Die Integration dieser Funktionen in einem Handschuh erfordert, zumal er wenig wiegen und große Bewegungsfreiheit gewährleisten soll, ausgefeilte mikromechanische Technologien. Die entsprechenden Module sind ebenso wie die der auditiven Komponente mit dem zentralen Steuerprozeß verbunden.

Die Entwicklung des Instrumentariums ist beinahe abgeschlossen, die auditive und die taktile Komponente jede für sich funktionsfähig. Noch in diesem Jahr sollen sie in ein Gesamtsystem integriert werden, von dem eine Version in unserem Labor stehen wird. Zunächst werden damit vor allem psychoakustische und physikalische Experimente durchgeführt werden, um offene Fragen des dynamischen räumlichen Hörens zu klären. Zudem muß der Bedarf an Rechnerleistung optimiert werden, so daß solche Systeme bei weiter sinkenden Hardwarepreisen in wenigen Jahren auch für die Allgemeinheit interessant werden.


Aus: Spektrum der Wissenschaft 10 / 1995, Seite 18
© Spektrum der Wissenschaft Verlagsgesellschaft mbH