http://www.faz.net/-gqz-9886f

Digitale Diskriminierung : Wenn Daten Bürger verdächtig machen

  • -Aktualisiert am

Quellcode des „Predictive Policing“ genannten Computerprogramms zur Bekämpfung von Verbrechen Bild: Picture-Alliance

Immer häufiger wird künstliche Intelligenz zur Bekämpfung von Kriminalität eingesetzt. In Amerika soll eine Software Risikopersonen ausmachen. Doch die Vorhersagen diskriminieren mitunter die Betroffenen.

          Menschen sind auch nur Informationssysteme, wenn man aus der Perspektive derjenigen auf sie blickt, die sie abschöpfen. Wir produzieren Bewegungsdaten, wir kommunizieren unentwegt, wir kaufen, was wir für nötig oder attraktiv halten. Den Datenschatz auszuwerten ist schon jahrelang ein erkleckliches Geschäft. In die Auswertungen wurden in letzter Zeit immer mehr Methoden der Künstlichen Intelligenz integriert, um die Analysen zu verfeinern und auch Vorhersagen über künftiges Verhalten anzubieten.

          Solche Vorhersagen sind allerdings wegen ihrer mitunter diskriminierenden Auswirkungen ins Gerede gekommen. Die Liste der Beispiele von Verzerrungen in der Datenbasis, die zu Nachteilen für bestimmte Personen führen, wird länger. Menschen werden wegen ihrer Ethnie, ihres Geschlechts, ihrer sexuellen Orientierung, ihres Einkommens oder auch, weil die Software sie nicht ordentlich kategorisieren kann, diskriminiert.

          Die digitale F.A.Z. PLUS
          Die digitale F.A.Z. PLUS

          Die F.A.Z. stets aktuell, mit zusätzlichen Bildern, Videos, Grafiken.

          Mehr erfahren

          Das empfinden viele als nicht weiter störend, weil sie davon noch nichts gehört oder bemerkt haben, weil sie vielleicht ohnehin zu den Privilegierten gehören oder weil sie versuchen, sich weitgehend von Werbung und Scoring im Internet abzukoppeln. Erst wenn das nicht mehr möglich ist, wird es unangenehm.

          Diese Erfahrung machten die Bürger der Stadt New Orleans, denen ein Softwaresystem des Unternehmens Palantir Technologies zur Analyse von menschlichem Verhalten heimlich aufs Auge gedrückt wurde. Und es ging nicht um Werbung oder Stadtoptimierung, sondern um die Polizei. Etwa ein Prozent der Bürger meldete die Software als Risikopersonen, die Liste ist quasi ein Lehrbeispiel für Diskriminierung.

          Das Unternehmen wahrt Geschäftsgeheimnisse

          Firmen wie Palantir bewerben bei Regierungen und großen Städten ihre fortgeschrittenen Softwareprodukte mit Künstlicher Intelligenz für die Kriminalitätsbekämpfung. Oft wird der Zugang zu großen Mengen Daten, mit denen polizeiliche Informationen abgeglichen werden, gleich mitverkauft. Die dahinterliegenden Mechanismen der Künstlichen Intelligenz und die Details der Programmierung sind jedoch Geschäftsgeheimnisse des Unternehmens.

          Wie die Software dazu beiträgt, jemanden als Risikoperson zu klassifizieren, oder wie sie zu dieser Schlussfolgerung kam, darf niemand in New Orleans einsehen. Nachdem der Journalist Ali Winston im Februar in einer umfangreichen Reportage für das Magazin „The Verge“ über das Polizei-Programm berichtet hatte, brach in Amerika eine Welle der Kritik los. Auch ein Betroffener wehrt sich mit Anträgen zur Herausgabe von Informationen über die Software. Nach wenigen Tagen entschloss sich der Bürgermeister von New Orleans nun, die Zusammenarbeit mit dem in Palo Alto ansässigen Unternehmen Palantir zu beenden.

          Die Stadt hatte die Analyse-Software vor Jahren von Palantir geschenkt bekommen. Der Markt für solche Produkte war noch vergleichsweise jung, da lohnte sich Generosität. Denn mit der Kooperation in New Orleans warb Palantir bei anderen Polizeien in den Vereinigten Staaten um Zusammenarbeit und buhlte um millionenschwere Aufträge. Zugleich hatte das Geschenk den Vorteil, dass öffentliche Diskussionen vor Beginn des Einsatzes vermieden werden konnten: Der geheime Vertrag mit Palantir ist nicht einmal in den zuständigen städtischen Gremien besprochen worden. Erst durch Winstons Nachfragen im Rahmen seiner Recherche war einigen Stadtverordneten überhaupt bekanntgeworden, dass ein solcher Vertrag existiert.

          Eingriffe in die Privatsphäre von Millionen Menschen

          Der ungewöhnliche Name der Multi-Millionen-Firma Palantir, die auf datenbasierte Überwachung und Analyse spezialisiert ist, geht auf Tolkiens „Herr der Ringe“ zurück. Dort sind Palantiri „sehende Steine“, die unabhängig von Ort und Zeit des Geschehens Ereignisse aufdecken können – eine passende Namensgebung angesichts der Behauptungen über die geradezu magischen Kräfte der digitalen Analyse-Produkte. Obwohl das Unternehmen ein Schwergewicht seiner Branche ist, wurde es einer breiteren Öffentlichkeit erst im Zuge der Berichte aus den Snowden-Papieren bekannt: Amerikanischen, aber auch europäischen Geheimdiensten lieferte Palantir digitale Werkzeuge, um deren große Datenbestände zu verknüpfen.

          Viel über seine sonstigen Kunden verrät das Unternehmen nicht. Nach eigenen Angaben arbeitet es auch im Finanz- und Versicherungssektor, in der pharmazeutischen und medizinischen Branche sowie als Partner von Privatdetektiven. Drei Viertel der gesamten Einnahmen beruhten jedoch auf der Zusammenarbeit mit staatlichen Stellen.

          Die jahrelangen Diskussionen um geheimdienstliche Massenüberwachung und Eingriffe in die Privatsphäre von Millionen Menschen schadeten dem Geschäft nicht, waren ihm vermutlich sogar zuträglich. Nicht nur blieben die Geheimdienste und Militärs Kunden von Palantir, Anfang März gab das amerikanische Verteidigungsministerium bekannt, einen Auftrag für 876 Millionen Dollar vergeben zu haben: Palantir erhielt gemeinsam mit dem Rüstungskonzern Raytheon den Zuschlag, alles andere jedoch bleibt wie immer geheim.

          Deutschland setzt keine „Predictive Policing“-Software ein

          So geheim wie die Bedingungen, unter denen in New Orleans operiert wurde. Denn ob Militärdienstleister oder Anbieter für amerikanische Großstädte: Transparenz über die Funktionsweise der Software ist nicht vorgesehen. Wie die polizeiliche Vorhersage („Predictive Policing“) auf ihre Ergebnisse kommt, darf niemand im Detail wissen.

          Anders als in den Vereinigten Staaten setzt in Deutschland keine Großstadt „Predictive Policing“-Software mit personenbezogenen Daten ein, wir haben Datenschutzgesetze, die dem entgegenstehen. Wenn man aber den ersten Interviews der neuen Staatsministerin für Digitalisierung, Dorothee Bär, und in der vergangenen Legislaturperiode den Aussagen von Bundeskanzlerin Angela Merkel folgte, kann man den Eindruck gewinnen, dass der hiesige Datenschutz ein einziges Innovationshemmnis auf dem Weg in die digitalisierte Zukunft sei.

          Das ist allerdings nur insofern richtig, als dass der Datenschutz Firmen mit einem Geschäftsmodell wie Palantir hierzulande Schranken setzt. Wenn die Innovation darin besteht, geheime Vorhersage-Software mit Künstlicher Intelligenz gegen nichtsahnende Bürger mit ihren persönlichen Daten einzusetzen, sind das durchaus erfreuliche gesetzliche Grenzen. Wir sollten sie nicht nur beibehalten, sondern ausbauen.

          Weitere Themen

          Acht Jungen in Sicherheit Video-Seite öffnen

          Rettungsmission geglückt : Acht Jungen in Sicherheit

          Nach Angaben des Einsatzleiters wurden die Kinder wegen der möglichen Infektionsgefahr zunächst noch nicht zu ihren Familien gelassen. Ihre Identität halte man vorerst geheim, aus Respekt vor den Angehörigen, deren Jungen noch in dem Höhlensystem ausharren müssten.

          Topmeldungen

          Tunesische Justiz über Sami A. : „Folter ist eine rote Linie“

          Tunis hat Befürchtungen über eine mögliche Folterung von Sami A. zurückgewiesen. Noch sei keine Entscheidung über das weitere Vorgehen gefallen, sagte ein Justizsprecher der F.A.Z..

          Steve Bannon : Ein Schurke für Europa

          Der einstige Chefstratege von Donald Trump, Steve Bannon, will die Nationalisten des alten Kontinents vereinen. Sein Ziel scheint klar: Die Zerstörung der EU.

          Newsletter

          Immer auf dem Laufenden Sie haben Post! Abonnieren Sie unsere FAZ.NET-Newsletter und wir liefern die wichtigsten Nachrichten direkt in Ihre Mailbox. Es ist ein Fehler aufgetreten. Bitte versuchen Sie es erneut.
          Vielen Dank für Ihr Interesse an den F.A.Z.-Newslettern. Sie erhalten in wenigen Minuten eine E-Mail, um Ihre Newsletterbestellung zu bestätigen.