Allein der Blick auf eine leere Zimmerwand genügt, um mit Hilfe eines neuen Verfahrens herauszufinden, wie viele Menschen sich in dem Zimmer befinden und wie sie sich bewegen. Dazu analysiert das System Schatten und Reflexionen, die mit dem bloßen Auge nicht wahrgenommen werden können. So könnte man theoretisch einen Raum ausspähen, den man selbst nicht einsehen kann.

Wenn sich Personen in einem Raum bewegen, blockieren ihre Körper einen Teil des verfügbaren Lichts und erzeugen so subtile und undeutliche »weiche Schatten« an den Wänden. Helle Kleidung kann überdies einen schwachen farbigen Lichtschein auf die Wand werfen. Im Normalfall werden solche »Signale«, die einem Späher Auskunft über die Anwesenden geben könnten, vom Umgebungslicht überstrahlt. »Wenn wir diesen Umgebungsfaktor abziehen vom Kamerabild, bleibt eigentlich neben dem Bildrauschen der Kamera nur noch jenes Signal übrig«, sagt Prafull Sharma, ein Doktorand am Massachusetts Institute of Technology. Sharma und andere MIT-Forscherinnen und -forscher isolierten diesen Umgebungsanteil, indem sie das Kamerabild der Wand über einige Zeit mittelten. Dadurch werden die sich verändernden Schatten der Menschen eliminiert, und nur das Licht der Hauptlichtquelle und die Schatten von Möbeln oder anderen stationären Objekten bleiben zurück. Anschließend subtrahierte das Team den entsprechenden Anteil aus dem Video, so dass die sich bewegenden Schatten der Menschen an der Wand abzeichneten. Das funktioniert sogar in Echtzeit.

Doch selbst die rekonstruierten Schattenbilder sind für einen Menschen schwer zu interpretieren. Also brachten Sharma und sein Team eine künstliche Intelligenz ins Spiel. Sie trainierten sie darauf, aus den Schattenbildern auf Anzahl und Bewegungsmuster der Menschen rückzuschließen. Um an ausreichend Trainingsmaterial zu gelangen, mussten sie verschiedene Räume – oder genauer: verschiedene Wände – filmen, und dabei allein oder in Gruppen wechselnder Größe vorher festgelegte Bewegungen machen. Das so entstandene System kann Aufnahmen einer leeren Wand in einem beliebigen Raum automatisch und in Echtzeit analysieren und die Anzahl der Personen und ihre Bewegungen bestimmen. Auf der »International Conference on Computer Vision« vom Oktober 2021 haben sie ihr System der Fachwelt präsentiert.

Jede Wand wird zum Spiegel des Raums

Die Stärken des Systems liegen darin, ohne Kalibrierung in jedem beliebigen Raum zu funktionieren. Anders als bei vielen ähnlichen Ansätzen benötigt man also nicht im Voraus Zugang zu dem Gebäude, das man später heimlich ausspähen will. Der Nachteil ist, dass das System relativ wenig robust gegenüber Störungen ist. Bei schlechtem Licht oder flackernden Lichtquellen, wie beispielsweise aus einem Fernseher, stellen die Ergebnisse nicht mehr zufrieden. Zudem kann es nur Gruppengrößen und Aktivitäten ermitteln, für die es trainiert wurde. Und man benötigt eine hochauflösende Kamera – eine Standarddigitalkamera erzeugt zu viel Hintergrundrauschen, und die Ergebnisse von Smartphone-Kameras waren kaum zu gebrauchen.

Trotz dieser Einschränkungen zeigt die Methode, wozu Bildgebung und maschinelles Lernen fähig sind, wenn es um Überwachung geht. »Es ist eine sehr coole wissenschaftliche Erkenntnis, dass man aus so einem schwachen Signal Informationen gewinnen kann«, sagt Sharma. »Und wie gesagt, mit bloßem Auge kommt man hier nicht weit.«

Eine leere Wand ist bei Weitem nicht der erste unverdächtige Gegenstand, der Geheimnisse über seine Umgebung preisgibt. Fachleute sprechen von Seitenkanalattacken oder englisch »side-channel attacks«. »Es geht darum, Informationsquellen zu nutzen, mit denen man sonst eher nicht an Informationen gelangt und die gar nicht das sind, wonach man eigentlich sucht, um Dinge in Erfahrung zu bringen, die man dort normalerweise nicht vermuten würde«, sagt Bennett Cyphers von der gemeinnützigen Electronic Frontier Foundation, die sich für mehr digitale Rechte einsetzt.

Eine Chipstüte als Fenster

Seitenkanalattacken verlaufen häufig über extrem unscheinbare Phänomene. Letztes Jahr nutzten Forscher die Spiegelungen auf glänzenden Gegenständen – darunter eine Chipstüte –, um ein Bild eines umgebenden Raums zu rekonstruieren. Auch Schall und andere Vibrationen können eine Menge indirekter Informationen liefern. So kann beispielsweise das Geräusch, das eine Tastatur beim Tippen macht, Aufschluss über die geschriebenen Wörter geben. Und ein Computer selbst kann als Mikrofon fungieren: In einer Studie aus dem Jahr 2019 entwickelten Forscher eine Software, die analysierte, wie Schallwellen aus der Umgebung den Lesekopf einer magnetischen Festplatte vibrieren lassen. Damit zeichneten sie die Gespräche auf, die in der Nähe des Geräts stattfanden.

Die meisten dieser Techniken beruhen auf maschinellem Lernen, um Muster zu erkennen, die ein Mensch nicht erkennen kann. Hochauflösende Kameras und Mikrofone machen es möglich, vor allem in Kombination mit der heute verfügbaren Rechenpower.

Schlaflose Nächte bereiten solche Angriffe den meisten Datenschützern trotzdem nicht. »Der Durchschnittsbürger sollte sich deswegen keine Sorgen machen«, sagt Riana Pfefferkorn, eine Forscherin am Stanford Internet Observatory. »Das sind coole Tricks aus der Forschung, die aber noch weit davon entfernt sind, von den Strafverfolgungsbehörden eingesetzt zu werden.« Der routinemäßige Einsatz liege »noch in weiter Ferne, wenn überhaupt. Und selbst dann kann die Polizei nicht einfach auf Ihr Grundstück eindringen und eine Kamera an Ihr Fenster hängen.« Cyphers stimmt dem zu. »Jeder trägt ein Smartphone bei sich, viele Menschen haben intelligente Lautsprecher in ihren Häusern, und ihre Autos sind mit dem Internet verbunden«, sagt er. »Unternehmen und Regierungen müssen in der Regel nicht auf Aufnahmen einer leeren Wand zurückgreifen, um die Art von Informationen zu sammeln, die sie benötigen.«

Trotzdem könnten solche Seitenkanalangriffe irgendwann ihren Weg in reale Anwendungen finden. »Das Militär und die Geheimdienste haben schon immer eine Verwendung für jede Art von Überwachungstechnologie gehabt, die sie in die Finger bekommen konnten«, sagt Cyphers. Sharma sieht dies ähnlich, verweist aber auch auf harmlosere Anwendungen: Autonome Fahrzeuge könnten vielleicht Hauswände nutzen, um Fußgänger dort zu erkennen, wo die Sicht verstellt ist. Und im Haus könnte man mit solchen Systemen nützliche Informationen gewinnen, beispielsweise, um Alarm zu schlagen, wenn ein älterer Mensch gestürzt ist. Dazu wäre sein eigenes System durchaus in der Lage – theoretisch, sagt Sharma, denn »ich habe keine Lust, mich in 20 verschiedenen Räumen auf die Lauer zu legen, nur um Daten zu sammeln«.