Logo von Technology Review

Suche
Abonnieren

Tägliche Top-News bei WhatsApp, Facebook Messenger, Telegram & Insta

preisvergleich_weiss

Recherche in 1.780.371 Produkten

Matthias Spielkamp

Sind Algorithmen die besseren Richter?

Sind Algorithmen die besseren Richter?

Gerichte, Banken und andere Institutionen nutzen automatisierte Datenanalysen, um Entscheidungen über unser Leben zu treffen. Wir können es nicht den Algorithmus-Herstellern überlassen, zu entscheiden, ob sie dabei auch wirklich objektiv sind.

Spielkamp ist Geschäftsführer von AlgorithmWatch. Die nichtkommerzielle Initiative beschäftigt sich mit den gesellschaftlichen Auswirkungen von Prozessen algorithmischer Entscheidungsfindung.

Das war ein echter Aufreger: Am 23. Mai 2016 eröffnet die mit dem Pulitzer-Preis ausgezeichnete Nachrichtenorganisation ProPublica ihre Online-Seite mit zwei Verbrecherfotos – ein schwarzes und ein weißes Gesicht. Darunter die Zeile: "Machine Bias", zu Deutsch etwa "maschinelle Vorurteile", und im Vorspann dazu die Erläuterung: "Es gibt Software, die im ganzen Land benutzt wird, um zukünftige Verbrecher zu erkennen. Und sie ist voreingenommen gegen Schwarze."

ProPublica hatte COMPAS analysiert, eine Software, die das Risiko berechnet, mit dem Kriminelle erneut straffällig werden könnten. Auf der Grundlage dieser Prognosen entscheiden Richter in den USA über die Zukunft von Angeklagten und Häftlingen. ProPublica verglich die Risikobewertungen von COMPAS für mehr als 10.000 in Florida verhaftete Menschen mit Daten darüber, wie oft diese Leute tatsächlich wieder kriminell wurden. Der Algorithmus konnte die Rückfallwahrscheinlichkeit für die schwarzen und weißen Angeklagten tatsächlich in gleichem Maße vorhersagen. Aber in den Fällen, in denen er falsch lag, war er das auf verschiedene Weise für Schwarze und Weiße.

8/2017

Dieser Text stammt aus dem August-Heft von Technology Review. Weitere Themen der Ausgabe:

Insbesondere war die Wahrscheinlichkeit, dass "Schwarze als höheres Risiko gekennzeichnet wurden, aber nicht wieder straffällig wurden", doppelt so hoch wie bei weißen Verhafteten. Umgekehrt stufte die Software Weiße öfter mit einem geringen Risiko ein, die dann später jedoch wieder Verbrechen begingen.

Ob es sinnvoll ist, Systeme wie COMPAS zu benutzen, hängt jedoch nicht nur davon ab, ob das Programm ein Problem mit Rassismus hat. Der Oberste Gerichtshof der USA könnte schon bald den Fall eines Sträflings aus Wisconsin aufgreifen, der sagt, dass sein Recht auf einen ordnungsgemäßen Prozess verletzt wurde, als der Richter COMPAS konsultierte. Nicht weil das System rassistisch ist, sondern weil es undurchsichtig ist.

Potenzielle Probleme mit anderen automatisierten Systemen zur Entscheidungsfindung (Automated Decision Making, ADM) existieren auch außerhalb des Justizsystems. Auf der Basis von Online-Persönlichkeitstests helfen ADMs zu bestimmen, ob jemand die richtige Person für einen Job ist. Credit-Scoring-Algorithmen spielen eine enorme Rolle bei der Frage, ob jemand eine Hypothek bekommt, eine Kreditkarte oder vielleicht sogar das kostengünstigste Handy-Angebot. Es ist nicht per se eine schlechte Idee, Risikobewertungssysteme wie COMPAS zu verwenden. In vielen Fällen können ADM-Systeme die Fairness erhöhen. Die menschliche Entscheidungsfindung ist zuweilen so inkohärent, dass sie Unterstützung braucht. So konnten israelische Wissenschaftler beispielsweise zeigen, dass die Mitglieder einer Bewährungskommission Häftlinge eher freiließen, wenn die Richter gerade ihre Mittagspause einlegten. Das war den Richtern wahrscheinlich nie aufgefallen.

Aber oft wissen wir nicht genug darüber, wie ADM-Systeme arbeiten, um wirklich zu beurteilen, ob sie fairer sind als Menschen. Zum Teil, weil die Systeme Entscheidungen auf der Basis von Annahmen treffen, die nicht einmal den Designern der Systeme klar sind. Und selbst wenn der Fall klar zu sein scheint, wie bei COMPAS, ist die Wahrheit manchmal kompliziert.

Anzeige

COMPAS bestimmt seine Risikoscores aus Antworten auf einen Fragebogen, der die Kriminalgeschichte eines Angeklagten und seine Einstellung zum Verbrechen erforscht. Nach der Untersuchung von ProPublica hat Northpointe, das Unternehmen, das COMPAS entwickelte, die Vorwürfe bestritten. Das Unternehmen argumentierte, dass die Journalisten die Daten falsch interpretierten. Schützenhilfe erhielt es von drei Kriminologen, darunter einem, der einer Justizreform-Organisation angehört. Anthony Flores, Christopher Lowenkamp und Kristin Bechtel kritisieren in ihrer Analyse, dass es zu viel "Unverständnis und falsche Informationen" über die Technologie gebe. Sie fürchten, dass mit solch grundsätzlicher Kritik die Chance immer kleiner wird, ADMs sinnvoll einzusetzen. Wer liegt richtig – die Reporter oder die Forscher?

Krishna Gummadi, Leiter der Networked Systems Research Group am Max-Planck-Institut für Software-Systeme in Saarbrücken, hat eine überraschende Antwort: beide.

Eine Möglichkeit, die Vorhersage besonders genau zu machen, ist die Anzahl der "true positives" zu optimieren. Man will also so viele Menschen wie möglich identifizieren, die tatsächlich mit hoher Wahrscheinlichkeit ein weiteres Verbrechen begehen. Ein Problem mit diesem Ansatz ist, dass man dabei dazu neigt, die Anzahl der falsch positiven Ergebnisse ebenfalls zu erhöhen: Menschen, die ungerechtfertigt als wahrscheinliche Verbrecher eingestuft werden. Das Verfahren kann auch so eingestellt werden, dass es so wenige falsche Positive wie möglich liefert. Aber damit erzeugt man auch mehr falsche Negative: potenzielle Wiederholungstäter, die durchrutschen und eine nachsichtigere Behandlung erhalten als gerechtfertigt.

Beide Möglichkeiten verbessern eine statistische Messgröße: den positiven Vorhersagewert, PPV. Das ist der Prozentsatz aller positiv richtigen Vorhersagen, die wahr sind. Wie Gummadi hervorhebt, verglich ProPublica nun den Anteil der falsch positiven und falsch negativen Ergebnisse für Schwarze und Weiße und fand sie zu Gunsten von Weißen verzerrt. Northpointe hingegen verglich die PPVs für verschiedene Rassen und fand sie ähnlich. Eine Lehre aus diesem Dilemma ist, dass die Öffentlichkeit entscheiden muss, wie solche Algorithmen optimiert werden. Sind wir in erster Linie daran interessiert, dass so wenig Häftlinge wie möglich auf Bewährung freikommen, die hinterher wieder rückfällig werden? Oder sollen so viele resozialisierte Häftlinge wie irgend möglich ihren Weg zurück in die Gesellschaft finden? Egal wie die Prioritäten gesetzt sind, kein Algorithmus ist objektiv.

Wir müssen jetzt anfangen zu diskutieren: Wie viel Transparenz erwarten Sie von ADM-Systemen? Brauchen wir eine Möglichkeit, solche Systeme zu zertifizieren? Und was passiert, wenn die Algorithmen nicht funktionieren wie vorhergesehen? Wer ist dann verantwortlich? Das sind schwierige Fragen. Aber es sind Fragen, die wir beantworten müssen, wenn wir vom technischen Fortschritt profitieren wollen. (Matthias Spielkamp)

Kommentieren

Anzeige
Anzeige