Logo von Technology Review

Suche
preisvergleich_weiss

Recherche in 2.200.782 Produkten

Will Knight, Eva Wolfangel 2

Was denkt sich die KI?

Was denkt sich die KI?

Niemand weiß wirklich, wie selbstlernende Algorithmen zu ihren Schlüssen kommen. Das führt schon heute zu Schwierigkeiten, und je breiter das Maschinenlernen eingesetzt wird, desto offenkundiger wird die Gefahr.

Es war ein seltsames Auto, das da im vergangenen Jahr durch die stillen Straßen von Monmouth County, New Jersey, fuhr: Von außen sah es zwar aus wie jedes andere selbstfahrende Auto – doch sein Innenleben glich in nichts dem, was man bisher von Google, Tesla oder General Motors kennt. Das Fahrzeug folgte keiner einzigen Anweisung, die ihm irgendein Programmierer oder Ingenieur vorgegeben hatte. Stattdessen war sein Algorithmus darauf ausgerichtet, sich das Fahren komplett selbst beizubringen – indem er Menschen dabei beobachtet hatte.

8/2017

Dieser Text stammt aus dem August-Heft von Technology Review. Weitere Themen der Ausgabe:

Mit dem beeindruckenden Kunststück wollten Forscher des Chipherstellers Nvidia zeigen, dass eine KI sogar dazu in der Lage ist. Aber es ist gleichzeitig ziemlich beunruhigend. Denn niemand weiß, wie das Auto seine Entscheidungen trifft. Hat es wirklich die richtigen Schlüsse aus dem Verhalten anderer Verkehrsteilnehmer gezogen? Hat die Bilderkennung tatsächlich alles korrekt kategorisiert, beispielsweise einen so lebenswichtigen Hinweis wie ein Stoppschild? Wie verhängnisvoll eine Fehlentscheidung sein kann, hat ein Vorfall im vergangenen Jahr gezeigt: Ein Tesla war im Autopilot-Modus ungebremst auf einen Sattelschlepper gefahren, der Fahrer sofort tot. Womöglich hatte das System den weißen Lkw für den Himmel gehalten – das ließ sich nicht endgültig klären.

Eigentlich hätte der Fahrer trotz angeschaltetem Autopiloten die Hände stets am Lenkrad und die Straße im Blick haben müssen. Doch in Zukunft sollen uns komplett autonome Systeme ablösen, sollen uns während der Fahrt vielleicht lesen oder arbeiten lassen. Google hat einst gar versprochen, dass auf diese Weise auch Blinde Auto fahren können. Wie aber soll das gehen, wenn niemand, nicht einmal die Entwickler selbst, erklären können, wie das Fahrzeug denkt? Das Problem betrifft bei Weitem nicht nur die autonomen Autos von Nvidia. Auch Banken, das Militär, Krankenhäuser, Versicherungen oder Behörden interessieren sich für die komplexen Ansätze des maschinellen Lernens, die automatische Entscheidungsfindungen immer mächtiger, aber auch immer undurchsichtiger machen.

Denn der darin weit verbreitete Ansatz des Deep Learning ist etwas fundamental anderes als das Konzept des Programmierens: Anstatt klare Regeln vorzugeben, sollen diese Computerprogramme aus einer riesigen Menge an Beispielen lernen. Und hier lauert bereits die erste Fehlerquelle: Was das System lernt, ist von den Trainingsdaten abhängig – und die können das Ergebnis von vorurteilsbehafteten Entscheidungen sein. Das KI-System übernimmt also quasi unbewusst die Vorurteile, die in Trainingsdaten stecken. Forscher um Aylin Caliskan von der Princeton University bewiesen das im April 2017 eindrucksvoll mit scheinbar neutralen Texten: Die Wissenschaftler nutzten für das Training einen der größten computerlinguistischen Wortschätze, den "common crawl corpus" mit 840 Milliarden Wörtern aus dem englischsprachigen Internet. Ihre künstliche Intelligenz sollte damit selbst lernen, welche Begriffe semantisch zusammengehören.

Das Ergebnis: Die KI fällte implizite Werturteile. Sie ordnete Blumen ebenso wie europäisch-amerikanische Vornamen oft positiven Begriffen zu, wohingegen Insekten sowie afroamerikanische Namen mit negativen Begriffen verbunden wurden. Männliche Namen stehen für die KI semantisch näher an Karrierebegriffen, Mathematik und Wissenschaft. Weibliche Namen assoziierte sie eher mit Familie und Kunst.

Das klingt wie akademische Spielerei, erklärt aber, warum solche Deep-Learning-Systeme eben nicht wie erhofft die sachlich beste Entscheidung getroffen haben, sondern sich von Verzerrungen in den Trainingsdaten haben in die Irre führen lassen. Berühmt geworden ist eine Google-Software zur Bilderkennung, die eine schwarze Frau als "Gorilla" bezeichnet hatte. Aber es gibt weitere Beispiele: Ein Algorithmus wählte in die Vorauswahl eines Schönheitswettbewerbs nur weiße Frauen; und wer das Wort "Hand" in die Google-Bildersuche eingibt, bekommt vor allem weiße Hände zu sehen. Wirklich bedenklich wird es, wenn aus den maschinellen Fehltritten menschliche Fehlentscheidungen folgen.

Für reichlich politischen Wirbel sorgt beispielsweise derzeit die Entscheidung der australischen Regierung, Zahlungen der Wohlfahrtsbehörde Centrelink seit 2016 per Software zu überprüfen und automatisiert einzufordern. Centrelink unterstützt unter anderem Arbeitslose, indigene Australier, junge Eltern und pensionierte Staatsdiener. Ein vollautomatischer Abgleich der erhobenen Daten mit denen der australischen Steuerbehörde sollte unrechtmäßige Zahlungen in den vergangenen sechs Jahren aufspüren und dem Staat so vier Milliarden Dollar in die Kassen spülen.

Zunächst funktioniert die Software ausgezeichnet

Auf den ersten Blick funktionierte die Software ganz ausgezeichnet und stieß bis Ende 2016 rund 160000 Mahnungen aus. Allerdings gerieten die im Volksmund "Roboterschulden" genannten Rückforderungen schnell in die Kritik, denn die Software machte grobe handwerkliche Fehler. So soll sie laut "Canberra Times" beispielsweise nicht mit verschiedenen Schreibweisen von Firmennamen klargekommen sein. Hatte ein Minijobber in seinem Antrag den Namen seines Arbeitgebers anders geschrieben als in seiner Steuererklärung, nahm die Software einfach an, der Antragssteller habe zwei Jobs gehabt, aber nur von einem das Einkommen angegeben. Nur und 20 Prozent aller Forderungen, zitiert die Zeitung eine interne Untersuchung der Behörde, sollen tatsächlich berechtigt sein.

Folgenreich sind maschinelle Entscheidungen wohl auch für die Strafgefangenen in den USA, für die eine Software namens COMPAS eine Abschätzung traf, wie hoch das Rückfallrisiko liegt. Richter sollten so besser entscheiden können, wer länger in Haft bleiben muss. Erst eine Recherche der Journalistenvereinigung ProPublica brachte zum Vorschein, dass der Algorithmus aus den Trainingsdaten geschlossen hatte, dass die Hautfarbe eines der entscheidenden Merkmale für kriminelle Energie sei.

Ist das Problem nicht in den Griff zu bekommen, dürfte sich künstliche Intelligenz zu einem äußerst bedenklichen Werkzeug entwickeln. Die Frage ist nur: Wie kann eine Lösung aussehen? Naheliegend wäre, entsprechende Faktoren einfach aus den Daten zu löschen. Wenn ein Algorithmus die Hautfarbe eines Bewerbers oder eines Häftlings nicht kennt, kann er sie auch nicht in seine Entscheidung einbeziehen. Das ist aber zu kurz gedacht, betont Sorelle Friedler, Informatikerin am Haverford College in Philadelphia: "Wer alle Daten löscht, aus denen beispielsweise die Hautfarbe hervorgeht, zerstört die Daten komplett."

Denn ein Algorithmus greift nicht nur auf die explizite Nennung einer Eigenschaft zurück, sondern kann sie sich auch aus allerlei anderen Daten herleiten. Im Fall der amerikanischen Strafgefangenen war genau das der Fall: Die Hautfarbe war nicht in den Daten hinterlegt, aber der Algorithmus fand Korrelationen zwischen Wohnort, Lebensumständen oder Name und Hautfarbe. Friedler hat mit einem Forschungsdatensatz ausprobiert, ob diese Rückschlüsse zu verhindern sind – mit wenig Erfolg. "Du kannst alles entfernen, was aus deiner Sicht darauf schließen lässt, und dann versuchen, die Hautfarbe vorherzusagen", sagt sie. In vielen Fällen hat der Computer es dennoch geschafft.

Ganz auf Deep Learning zu verzichten, kann aus Friedlers Sicht aber nicht die Lösung sein. "Diese Verfahren sind beeindruckend gut darin, Daten zu klassifizieren", sagt sie. "Wir sollten eine Lösung finden, wie sie sich selbst erklären." Und diese ist dringend gefragt: "Das Problem ist schon jetzt aktuell, und es wird in Zukunft noch viel aktueller werden", sagt Tommi Jaakkola, der am Massachusetts Institute of Technology an Anwendungen des maschinellen Lernens forscht. "Egal ob es eine Investitionsentscheidung ist oder eine medizinische oder gar eine militärische Entscheidung: Wir wollen nicht auf eine Black Box vertrauen."

Die Zeit drängt, denn zumindest in Europa wollen die Gesetzgeber Lösungen sehen. Ab 2018 verlangt die Europäische Datenschutzgrundverordnung, dass Entscheidungen, die Personen beeinträchtigen können, nicht ausschließlich auf einer automatisierten Verarbeitung getroffen werden dürfen. Wenn Daten automatisiert verarbeitet werden, verlangt die Regelung Transparenz gegenüber den Betroffenen. Sie müssen Einblick in die Verarbeitungsvorgänge bekommen. Für Deutschland hat Justizminister Heiko Maas Anfang Juni auf einer Tagung des Ministeriums zudem die Einführung eines Antidiskriminierungsgesetzes für Algorithmen vorgeschlagen. "Im Rechtsstaat sind alle Entscheidungen begründungspflichtig. Denn nur so kann überprüft werden, ob die Grundlagen, auf denen sie getroffen wurden, richtig, rechtmäßig und auch verhältnismäßig sind", sagte Maas. "Eine solche Überprüfbarkeit brauchen wir auch, wenn Algorithmen Entscheidungen vorbereiten."

Wie das gelingen kann, ist derzeit eine der spannendsten Fragen in der künstlichen Intelligenz. Ob sie gelöst wird, ist offen. Zum einen dürften sich die Firmen wehren, fürchten sie doch um ihre Betriebsgeheimnisse. "Zudem ist die Erklärbarkeit nur sehr vage formuliert", sagt der Internet-Rechtsexperte Jürgen Täger von der Universität Oldenburg. Er fürchtet, dass die Unternehmen Hintertüren finden werden, die jene Forderung nach Erklärbarkeit doch wieder einschränken.

Rätselhafte KI schlecht fürs Geschäft

Dennoch stehen die Chancen besser, als diese Einwände vermuten lassen. Denn die Unternehmen haben erkannt, dass eine rätselhafte KI nicht gut fürs Geschäft ist. Tom Gruber, der das Siri-Team bei Apple leitet, sagt, dass Erklärbarkeit eine zentrale Überlegung für sein Team ist auf dem Weg von Siri zu einem klügeren und virtuellen Assistenten. Gruber schweigt über konkrete Pläne, aber es ist naheliegend, dass man beispielsweise bei einer Restaurantempfehlung auch wissen will, wieso Siri genau dieses Lokal ausgewählt hat. Ruslan Salakhutdinov, der Direktor der KI-Forschung bei Apple und Associate Professor an der Carnegie Mellon University, sieht Erklärbarkeit als das Herz der wachsenden Beziehung zwischen Menschen und intelligenten Maschinen. "Sie wird Vertrauen vermitteln." Auch das US-Militär ist sich der Gefahr bewusst. Es investiert derzeit Milliarden, um Fahrzeuge und Flugzeuge per KI zu steuern, Ziele automatisch zu identifizieren oder Geheimdienstanalysten bei der Datenauswertung zu unterstützen. Algorithmische Irrtümer können jedoch schnell tödlich enden.

Deshalb hat das Verteidigungsministerium die Transparenz solcher Entscheidungen zu einem Schlüsselziel erklärt. David Gunning von der Darpa, die für das US-Militär Forschungsvorhaben finanziert, leitet das treffend als "Erklärbare künstliche Intelligenz" bezeichnete Programm. Der grauhaarige Veteran kennt sich mit dem Sujet besten aus. Er leitete einst das Darpa-Projekt, aus dem später eher zufällig Apples Sprachassistent Siri hervorging. "Es liegt in der Natur dieser selbstlernenden Systeme, dass sie viele Fehlalarme produzieren", sagt Gunning. "Deshalb muss verständlich sein, wie eine Empfehlung zustande kam."

Einen ersten Schritt in diese Richtung unternahmen Google-Forscher 2015. Sie kamen erstmals auf die Idee, ein tiefes neuronales Netz zur Bilderkennung so zu verändern, dass es sichtbar macht, was es erkennt. Sie brachten dem Netz bei, die von seinen verschiedenen Ebenen erkannten Strukturen zu verstärken. Das auf diese Weise veränderte Bild wurde in das Netz zurückgespeist, ein neuer Durchlauf folgte und so weiter. "DeepDream", wie sie das Netz schließlich nannten, erfüllte seinen ursprünglichen Zweck nur teilweise. Dafür verblüffte es seine Schöpfer jedoch gründlich: Die daraus entstandenen Bilder zeigen groteske, alienartige Tiere, die aus Wolken oder Pflanzen entstehen, oder Pagoden, die über Wäldern oder Bergen blühen.

Erst Forscher wie Wojciech Samek, Leiter der Forschungsgruppe für Maschinelles Lernen am Fraunhofer Heinrich-Hertz-Institut HHI in Berlin, brachten den Google-Ansatz vor Kurzem zu Ende: Samek und seine Kollegen lassen ein neuronales Netz zur Bilderkennung quasi rückwärts laufen. So können sie sehen, wie die Computerneuronen Bereiche eines Bildes gewichten – also gewissermaßen wo das Netz hinschaut, wenn es in einem Bild bestimmte Gegenstände erkennt. Ihr Ergebnis: Eine Software, die auf Fotos Züge erkennen sollte, orientierte sich hauptsächlich an Gleisen und an der Bahnsteigkante. Den Zug selbst hielt das Netz nicht für besonders wichtig. Es würde also womöglich auch dann einen Zug erkennen, wenn auf einem Bild lediglich Schienen und eine Bahnsteigkante zu sehen sind. Ähnlich erging es einem neuronalen Netz, das Fotos von Pferden erkennen sollte: Die KI stützte sich auf die Copyright-Angabe, die auf Pferdeforen verwies. Der Inhalt des Bildes spielte keine Rolle. Ohne diese Methode würden die Programme als äußerst zuverlässige Klassifikatoren gelten – bis sie einen Fehler machen, den kein Mensch nachvollziehen kann.

Was bei Pferden noch Spielerei ist, kann im Medizinbereich rasch lebensgefährdend werden. Wie dort eine Lösung aussehen könnte, hat Thomas Ertl vom Visualisierungsinstitut der Uni Stuttgart vorgestellt. Er hat sich mit Ärzten ausgetauscht, die Algorithmen bei der Analyse von Computertomografie-Bildern unterstützen. "Diese Experten wollen sich versichern, dass das Ergebnis stimmt." Die Wissenschaftler geben ihnen die Möglichkeit, die Parameter zu ändern, die der Computer anlegt und die beispielsweise definieren, wo ein Tumor aufhört und normales Gewebe anfängt. Diese Werte verschieben die Ärzte und beobachten dabei, wie sich das ausgegebene Bild verändert: Deckt sich der erkannte Tumor mit ihren eigenen Erfahrungen? So können sie überprüfen, ob die Annahmen des Programms stimmen.

In eine vergleichbare Richtung geht die Arbeit von Carlos Guestrin von der University of Washington. Mit seiner Methode findet der Computer automatisch einige Beispiele für entscheidende Parameter in einem Datensatz und präsentiert sie dem Nutzer zusammen mit einer kurzen Erklärung. Ein System, das beispielsweise Brustkrebs auf Mammografie-Aufnahmen erkennen soll, kann jene Teile eines Bildes markieren, die es für entscheidend hält. Ein Algorithmus, der eine Mail eines Terroristen erkennen soll, könnte bestimmte Schlüsselwörter aus einer Nachricht markieren, sodass Menschen überprüfen können, ob die Parameter Sinn ergeben.

Die mitgelieferte Erklärung zeigt also, ob die künstliche Intelligenz die Aufgabe richtig verstanden hat. Ein Nachteil vieler dieser Ansätze ist allerdings, dass die Erklärung immer vereinfacht sein wird, dass also wichtige Informationen auf dem Weg verloren gehen könnten. Der Traum vieler Forscher wäre daher eine KI, die eine echte Unterhaltung führen und argumentieren kann. Aber erstens "sind wir weit davon entfernt, eine wirklich interpretierbare KI zu haben", sagt Guestrin.

Und zweitens: Wäre das Problem damit wirklich gelöst? Keine KI dürfte jemals in der Lage sein, alles zu erklären, was sie tut. "Selbst wenn dir jemand eine einleuchtende Erklärung für sein Verhalten gibt, ist sie sicherlich nicht komplett – und das Gleiche könnte auch für KI gelten", sagt Jeff Clune, der an der University of Wyoming mit tiefen neuronalen Netzen forscht, die sich selbst weiterentwickeln können. "Es könnte einfach ein Teil der Natur von Intelligenz sein, dass nur ein Teil davon rational zu erklären ist. Ein anderer Teil ist einfach instinktiv, unbewusst oder unergründlich." Selbst wenn dem nicht so wäre und eine umfassende Darlegung der Gründe möglich ist: Können Menschen ihnen am Ende wirklich folgen?

Vielleicht müssen wir den Entscheidungen einer KI an einem bestimmten Punkt einfach vertrauen – oder uns in Einzelfällen entscheiden, sie nicht zu nutzen. Daniel Dennett von der Tufts University schreibt in einem Kapitel seines neuen Buches "From Bacteria to Bach and Back", dass es ein natürlicher Teil der Evolution von Intelligenz sei, Systeme zu entwickeln, die Aufgaben erledigen, von denen deren Erschaffer nicht wissen, wie sie es tun. Zur Frage der Erklärbarkeit hat er ein mahnendes Wort: "Wenn wir diese Technologien nutzen und uns auf sie verlassen, dann müssen wir so gut wie irgend möglich verstehen, wie und warum sie uns welche Antworten geben." Da es aber keine perfekte Antwort geben mag, sollten wir mit KI-Erklärungen vorsichtig umgehen – ganz egal wie clever eine Maschine zu sein scheint. "Wenn sie nicht besser als wir erklären kann, was sie tut", warnt er, "dann vertraue ihr nicht."

2 Kommentare