https://www.faz.net/-gsf-avd

Gespräch mit Daniel Suarez : Wir werden mit System erobert

  • Aktualisiert am

Suarez: Talentierte Programmierer haben theoretisch beträchtliche Macht, aber Software von einiger Komplexität wird von Teams entwickelt, und diese Teams haben Termine und Budgets. Die größten Gefahren resultieren meines Erachtens nicht aus böswilligen Absichten, sondern aus Skrupellosigkeit. Die Zwänge des freien Marktes veranlassen Firmen, viel zu kurze Entwicklungszeiten vorzugeben und viel zu kleine Budgets bereitzustellen, unter denen Qualität und Erprobung der Programme leiden. Der schnelle Wechsel in den Belegschaften, Spaghetticode - all diese Dinge führen dazu, dass in modernen Programmen riesige Sicherheitslücken klaffen, ohne dass es dazu einer Verschwörung bedürfte. Dazu kommt es erst später, wenn ein von einem destruktiven Hacker oder einem Geheimdienstmitarbeiter entdeckter Zero Day Exploit genutzt wird, um in Millionen Computer einzudringen, auf denen ein populäres, aber mangelhaftes Programm läuft.

Wenn man sich auf die Entwicklung von Qualitätssoftware und auf Ethik konzentriert, betrifft das die Programmierer, aber auch das IT-Management und die Unternehmensführung - und in ähnlicher Weise auch Wall-Street-Analysten und Investoren, die erst einmal nachdenken sollten, bevor sie ein Unternehmen mit Kursrückgängen bestrafen, weil sich die Auslieferung einer Software verzögert - was ja durchaus eine sehr vernünftige Entscheidung sein könnte. Die Liste der möglichen Schuldigen wird da schon bald so lang, dass von einer Konzentration auf einzelne Bereiche kaum die Rede sein kann.

Und da ist dann noch das Problem des „emergenten Verhaltens“ - also unerwarteter Wechselwirkungen mit anderen Programmen, die zu einem Verhalten führen, das niemand vorhergesehen hat. Hier stellt sich die Frage, ob Algorithmen überhaupt noch bewusst von Menschen kontrolliert werden. Sind wir noch in der Lage, solche komplexen Prozesse nachzuvollziehen? Menschen neigen dazu, zu akzeptieren, was Maschinen ihnen sagen. Wenn ein Algorithmussystem sich eine Zeitlang als nützlich erwiesen hat, wird dessen Output als Tatsache anerkannt. Schlimmer noch: Oft wird seine Anwendung über den Bereich hinaus ausgedehnt, für den das Entwicklerteam sie ursprünglich vorgesehen hatte. Die Initiative zu dieser Erweiterung kommt oft aus Kreisen außerhalb des Teams, als Reaktion auf geschäftlichen oder politischen Druck, möglichst großen Nutzen aus dem Erfolg zu ziehen. Ein Beispiel: Viele quantitative Analysten an der Wall Street entwickelten ihre Modelle zur Bewertung von Anlagerisiken ursprünglich für den Hausgebrauch, aber in manchen Fällen drängten die Verkaufs- oder Marketingabteilungen, diese Modelle zur Grundlage für öffentliche Risikobewertungen zu machen, um sich bei Investoren hervorzutun und bessere Geschäfte zu machen. Da kann es vorkommen, dass die Programmierer gar nicht wissen, wofür ihre Systeme später gebraucht oder missbraucht werden. Sie arbeiten vielleicht sogar längst nicht mehr für das betreffende Unternehmen, doch ihre Logik lebt in einem System weiter, das nun in einer Weise eingesetzt wird, für die es ursprünglich nicht gedacht war. Im Fall der Analyse von Anlagerisiken kam das Ergebnis einem Zusammenbruch der Weltwirtschaft bedenklich nahe. Und das könnte auch weiterhin geschehen.

Statt uns auf eine immer strengere ethische Überprüfung der Programmierer (oder auch der fMRT-Brainscans) zu verlassen, sollten wir es der Natur nachtun - nämlich unsere Systeme unterteilen und diversifizieren. Die Natur bestraft einzelne Fehlschläge, weil ein gewisses Maß an Fehlschlägen unvermeidlich ist. Wir sollten daher in erster Linie zu vermeiden versuchen, dass Fehlschläge sich kaskadenförmig ausbreiten, und unsere Fähigkeit verbessern, uns von solchen Fehlschlägen rasch zu erholen. So können wir den Schaden begrenzen, wenn wir uns irren. Und wir müssen die Tatsache anerkennen, dass wir uns gelegentlich irren.

Worum es bei Daniel Suarez geht

Sind wir noch sicher, wenn alle vernetzt sind? In seinen höchst erfolgreichen Thrillern „Daemon“ und „Darknet“ entwirft Daniel Suarez
mit außerordentlich hoher technologischer Kenntnis die beunruhigend realistische Vision einer Gesellschaft, die von Computern mehr und mehr entmündigt wird. Die Handlung kreist um das Vermächtnis eines Computergenies, das lernfähige Software dazu benutzt, sich die Menschheit zu unterwerfen.

Der amerikanische Autor Daniel Suarez, Jahrgang 1964, arbeitete zunächst als Softwareentwickler und Systemberater, bevor er 2006 „Daemon“ veröffentlichte. Die Fortsetzung „Darknet“ erscheint heute, am Montag, im Rowohlt Verlag.

Weitere Themen

Topmeldungen

Trump hat sich Erdogan gegenüber benommen wie ein hysterischer Liebhaber.

Trumps Syrien-Politik : Härte und Liebe

Trump hat eine Feuerpause für Syrien aushandeln lassen und feiert sich nun als Friedensstifter. Doch seine Siegerpose wirkt lächerlich. Erdogan hat von Amerika alles bekommen, was er wollte.
Bei der aktuellen Sonntagsfrage verliert die AfD an Zustimmung.

Sonntagsfrage : AfD fällt auf 13 Prozent

Die AfD fällt damit auf den tiefsten Stand seit drei Monaten. Die SPD hingegen kann leicht Boden gutmachen - und zieht mit 15 Prozent an der AfD vorbei.

„Super Saturday“ : Britische Regierung beantragt Brexit-Verschiebung

Das britische Parlament hat eine Entscheidung über den Brexit-Deal verschoben. Premierminister Boris Johnson kündigt an, er werde „weiterhin alles tun, damit wir am 31. Oktober die EU verlassen.“ Trotzdem muss er Brüssel um einen Aufschub bitten.

Newsletter

Immer auf dem Laufenden Sie haben Post! Abonnieren Sie unsere FAZ.NET-Newsletter und wir liefern die wichtigsten Nachrichten direkt in Ihre Mailbox. Es ist ein Fehler aufgetreten. Bitte versuchen Sie es erneut.
Vielen Dank für Ihr Interesse an den F.A.Z.-Newslettern. Sie erhalten in wenigen Minuten eine E-Mail, um Ihre Newsletterbestellung zu bestätigen.