Es klingt wie der kafkaeske Plot eines Sciencefiction-Streifens: Im Februar 2013 gerät der Amerikaner Eric Loomis mit seinem Auto in eine Polizeikontrolle. Das Fahrzeug war von den Polizeibehörden registriert worden, weil jemand daraus Schüsse abgegeben hatte. Loomis, ein vorbestrafter Sexualstraftäter, flüchtet aus Angst vor Repressalien vor der Polizeistreife und wird bei der Verfolgung verhaftet. Der Verdächtige bestritt jede Beteiligung an der Schießerei und gab bei der Vernehmung an, er habe das Fahrzeug erst nach dem Vorfall gefahren. Ein Gericht in La Crosse County im US-Bundesstaat Wisconsin nahm ihm diese Erklärung nicht ab und verurteilte ihn wegen Fahrerflucht und Fahrens ohne Fahrerlaubnis zu einer Haftstrafe von sechs Jahren. Das Bemerkenswerte an diesem Urteil war, dass es nicht allein auf Grund der Straftat erging, sondern auf Grund eines algorithmisch erzeugten "Risikoscores".

Den errechnet ein Algorithmus auf Basis eines Tests mit insgesamt 127 Fragen – darunter "Hatten Ihre Eltern ein Drogen- oder Alkoholproblem?" oder: "Fühlen Sie sich von den Dingen, die Sie tun, gelangweilt?" Aus den Antworten ermittelt das Programm einen Wert, der angeben soll, mit welcher Wahrscheinlichkeit der Straftäter rückfällig wird. COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), wie der Hersteller Northpointe das statistische Werkzeug nennt, wird von mehreren Gerichten in Wisconsin eingesetzt. Richter Scott Horne sagte bei der Urteilsverkündung, dass der Angeklagte durch das COMPAS-Assessment als ein "Individuum identifiziert wurde, das ein hohes Risiko für die Gesellschaft darstellt". Gegen dieses Urteil legte Loomis Berufung wegen Verletzung des Rechtsstaatsprinzips ein.

Das Problem ist, dass dieser proprietäre Algorithmus höchst intransparent ist und keiner allgemeinen Überprüfbarkeit unterzogen werden kann. Der Angeklagte kann die Validität des Werkzeugs nicht nachvollziehen. Loomis' Anwälte argumentieren in der Klageschrift, dass das Gericht auf einen geheimen, intransparenten Prozess abstelle. Sein Anwalt Michael D. Rosenberg bringt vor, dass der Algorithmus voller Löcher sei und das Erfordernis eines individuellen Urteils verletze. Das widerspreche dem Transparenzgebot von Entscheidungsgründen. Der Anwalt verlangt Einsicht in den Softwarekode. Das wiederum lehnt die Firma ab, die ihre Formel als Betriebsgeheimnis geschützt sehen will. Das Recht auf geistiges Eigentum kollidiert hier mit der Freiheit des Beklagten.

Kann man eine Maschine verklagen, wenn sie die falschen Parameter berücksichtigt?

Loomis' Einspruch wurde höchstrichterlich vom Wisconsin Supreme Court abgewiesen. Doch kann es sein, dass ein opaker Algorithmus über Freiheit und Unfreiheit entscheidet? Julia Angwin, Reporterin beim Recherchebüro "ProPublica", die das COMPAS-System untersucht hat, schrieb, dass der Algorithmus eine Genauigkeit von 61 Prozent habe. Man könnte also genauso gut eine Münze werfen, was mit einer Wahrscheinlichkeit von 50 Prozent nicht viel ungenauer ist. Das System öffnet der Willkür Tür und Tor. "Schicksalsmaschinen" nannte der Deutschlandfunk diese vermeintlich evidenzbasierten Beurteilungssysteme.

Zudem ist der Algorithmus rassistisch verzerrt, was die ohnehin schon vorhandene Diskriminierung von Schwarzen verstärkt. Schwarze Angeklagte tragen laut der Untersuchung ein doppelt so hohes statistisches Risiko, fälschlicherweise zur Hochrisikogruppe gerechnet zu werden als weiße Angeklagte. Der Score basiert auf einem komplexen Regressionsmodell, das selbst Richter mit statistischen Grundkenntnissen kaum verstehen dürften.

Die Ironie ist, dass der Firmengründer von Northpointe, Tim Brennan, ein ehemaliger Statistikprofessor, der als Zeuge in einem der Prozesse geladen wurde, seine Software gar nicht für juristische Zwecke genutzt sehen wollte. "Mir missfällt die Vorstellung, dass COMPAS das einzige Beweismittel ist, auf dem eine Entscheidung gründet", sagte er in einem Prozess aus. Trotzdem greifen die Behörden auf diese fragwürdigen Instrumente zurück, um die Rückfallquote von Straftätern zu berechnen.

Der Einsatz dieser statistischen Werkzeuge wird meist damit gerechtfertigt, dass richterliche Entscheidungen regelmäßig verzerrt sind. Doch Algorithmen sind nicht neutral, sondern können offen diskriminieren, weil sie menschliche Vorurteile reproduzieren. Die Frage ist: Wer schützt uns vor der Willkür dieser Algorithmen? Kann man eine Maschine verklagen, wenn sie irrtümlich die falschen Parameter zur Grundlage ihrer Kalkulation gemacht hat?

Zu den methodischen Mängeln gesellt sich die Gefahr, dass Schuld und Risiko faktisch gleichgesetzt und rechtsstaatliche Prinzipien wie "nulla poena sine culpa" (keine Strafe ohne Schuld) und "nulla poena sine lege" (keine Strafe ohne Gesetz) ausgehebelt werden. Es ist ein Paradigmenwechsel des Rechtsstaats: Nicht auf der Schuld gründet die Vorwerfbarkeit des Verhaltens, sondern auf einem algorithmisch ermittelten Risikoscore. Solange der Algorithmus nicht transparent gemacht wird, weiß der Verurteilte auch nicht, wofür er verurteilt wurde. Welche Variable gab den Ausschlag? Korrelieren die Risikofaktoren mit der Rasse? Das ist gegen jeden rechtsstaatlichen Grundsatz. Der Rechtswissenschaftler Frank Pasquale, Autor des Buchs "The Black Box Society", vergleicht diese Entwicklungen mit einer computerisierten Form der Star Chambers. Die Urteile dieser Gerichtshöfe, die König Eduard II. im 14. Jahrhundert in England einsetzte, waren unanfechtbar, die Verhandlungen geheim.

Unterdessen gibt es auch unter der Richterschaft Zweifel an den statistischen Modellen. Die Schriftführerin im Prozess, Ann Walsh Bradley, meldete in ihren Protokollen Bedenken gegen den COMPAS-Score an. Allein, Eric Loomis wird das nicht helfen. Er muss seine sechsjährige Haftstrafe wohl absitzen. Eine Software hat ihn hinter Gitter gebracht.