http://www.faz.net/-gsf-avd
HERAUSGEGEBEN VON WERNER D'INKA, JÜRGEN KAUBE, BERTHOLD KOHLER, HOLGER STELTZNER
F+ Icon
F.A.Z. PLUS
abonnieren

Veröffentlicht: 02.05.2011, 10:22 Uhr

Gespräch mit Daniel Suarez Wir werden mit System erobert

Die Computer haben von uns durch jede einzelne Google-Anfrage, durch jeden „I like“-Button gelernt. Jetzt beginnen sie, uns zu verändern. Der amerikanische Autor Daniel Suarez im Gespräch mit Frank Rieger.

© AFP Wer sich vom Ziel der Hypereffizienz verabschiedet, den bestraft die Börse

Frank Rieger: Ihre Romane beschreiben eine Welt, in der die Handlungen der Menschen von Algorithmen vorausgesagt und bestimmt werden. Der Computerpionier Sobol - irgendwie eine Mischung aus Steve Jobs und den Google-Chefs - hat ein Computerprogramm hinterlassen, dem es gelingt, die bereits hochgradig vernetzte und digital anfällige Welt unter seine Kontrolle zu bringen. Was mich als Informatiker am meisten überrascht: Vieles, was Sie beschreiben, ist wirklich technisch möglich, es finden sich praktisch keine Fehler in Ihrem Buch. Rechnen Sie mit größeren Durchbrüchen in der Produktivität und Qualität von Software, die es auch nur entfernt möglich machen werden, ein hyperkomplexes System von der Art Ihres „Daemon“ zu konzipieren und zu programmieren?

Daniel Suarez: Nein, es ist kein größerer technologischer Durchbruch mehr erforderlich - nur ein weiterer Schritt.

Mehr zum Thema

Rieger: Die „Hauptfigur“ Ihrer Bücher ist ein äußerst komplexes, unglaublich präzise arbeitendes Konglomerat aus AI-Systemen, die weit über die aktuellen Möglichkeiten der Softwareentwicklung hinausgehen. Sobol, der geniale Computerspielentwickler, der sie hinterlassen hat, muss übernatürliche Fähigkeiten besessen haben, um all diese Programme zu schreiben, zu testen und die möglichen Ergebnisse und Geschehnisse modellieren zu können. Oder glauben Sie, man wird sich selbst verbessernde Algorithmen demnächst auch bei der Entwicklung solcher Programme und Algorithmen erfolgreich einsetzen können, in denen man bisher auf harte geistige Arbeit angewiesen ist?

Suarez: Der „Daemon“ ist natürlich Fiktion, aber unsere Welt ist zunehmend automatisiert, vernetzt und datengetrieben. Schon jetzt treffen beschränkte AI-Bots Entscheidungen, die das Leben weiter Teile der Menschheit verändern - man denke etwa an automatisierte Börsenhandelssysteme oder an die Blackbox-Algorithmen, mit denen die individuelle Kreditwürdigkeit berechnet wird. Diese proprietären Systeme verändern menschliches Verhalten, wenn wir uns bemühen, unsere Punktzahl innerhalb ihres Wertesystems hoch zu halten oder zu erhöhen - ganz ähnlich, wie Spieler in Computerspielen sich gedrängt fühlen, höhere Levels zu erreichen. Und wenn diese Systeme Fehler machen, haben sehr oft Menschen darunter zu leiden. Falls die Systeme profitabel sind, werden sie am Ende zu eigenständigen Institutionen, deren Wartung und Pflege einer Kaste von Hightech-Priestern obliegt, die allein deren dunkle Geheimnisse kennen - ganz so wie bei dem Daemon in meinen Büchern.

Rieger: Wie würden Sie selbst den Daemon charakterisieren?

Suarez: Der Daemon ist eine medienübergreifende Maschine zum Lesen von Nachrichten und zur Manipulation von Menschen. Im Kern ist der Daemon ein logischer Baum - wenn auch ein dezentraler und komplexer. In seiner ursprünglichen, noch nicht in die Crowd ausgelagerten Verkörperung verfügte der Daemon über eine kurze Liste von Zielen: erstens Unternehmensnetzwerke infizieren; zweitens menschliche Gefolgsleute finden (unter Verwendung von Konsumentendaten und sozialen Netzwerken); und drittens die Aktivitäten der menschlichen Gefolgsleute nutzen, um Aufgaben auszuführen. Der Daemon stellt Menschen Aufgaben, sorgt mit Anreizen oder Drohungen dafür, dass diese ausgeführt werden, und durchsucht öffentliche Nachrichtenquellen, um festzustellen, ob und wann diese Aufgaben ausgeführt worden sind. In keinem Fall „versteht“ der Daemon tatsächlich das von ihm überwachte Geschehen. Er verlässt sich auf Augen und Ohren seines menschlichen Netzwerks - auf Menschen, die für das Überleben des Systems arbeiten.

Natürlich übersteigt die Entwicklung einer dezentralen, beschränkten künstlichen Intelligenz wie des Daemon die Möglichkeiten eines Einzelnen, aber das gilt für die meiste Software. Der fiktive Gegenspieler in meinen Büchern, Matthew Sobol, war Technikchef eines erfolgreichen Herstellers von Computerspielen und nutzte die Talente zahlreicher Entwickler, die gar nicht wussten, welchen Zwecken ihre Arbeit tatsächlich diente. Sobol gab dem System die ersten Ziele vor, aber als neue Daemon-Mitglieder an Macht gewannen, begannen auch sie, eigene Aufgaben zu stellen - und damit den logischen Baum des Systems zu erweitern. Als der Daemon dann Millionen von Gefolgsleuten hatte, war es nicht mehr das gleiche System, wie Sobol es konzipiert hatte. Es entwickelte sich unter der Führung seiner eigenen Priesterkaste.

Der größere Durchbruch in der Produktivität und wohl auch Qualität, an den Sie denken, ist demnach schon erfolgt: das Crowd-Sourcing. Der „sich selbst verbessernde Algorithmus“ sind die sich ständig weiterentwickelnden Anstrengungen einzelner Menschen, die innerhalb eines Reputationssystems arbeiten - beim Daemon innerhalb eines Systems, das sie tötet, falls sie es zu zerstören versuchen, sie aber reich belohnt, wenn sie es verbessern. Statt selbst zu entscheiden, misst der Daemon den Erfolg an den zustimmenden oder ablehnenden Meinungen von Millionen seiner menschlichen Mitglieder.

Könnte solch ein System vollkommen fehlerfrei funktionieren? Nein, aber der Daemon besitzt keinen zentralen Kern. Sobol bemühte sich, einzelne Fehlerquellen auszuschalten. Fehler können zwar tödlich für einen Ausführungsstrang - oder in diesem Fall: für einen menschlichen Nutzer - sein, aber sie beeinträchtigen nicht den Gesamtorganismus.

Rieger: In Ihren Büchern sind sowohl die Menschen, die sich dem Daemon unterwerfen, als auch jene, die ihm Widerstand leisten, Teil einer vorbestimmten Geschichte. Sie bewegen sich durch eine Szenenfolge im Voraus konzipierter und festgelegter Ereignisse, und ihre Wahlentscheidungen sind nur Verzweigungen in den Modellierungsbäumen der Sobolschen Software. Wer ist in diesem Universum letztlich der Erzähler, wenn die Realität selbst zur Erzählung geworden ist? Wird schließlich alles Teil des Romans? Ist die poetische Logik am Ende dasselbe wie das Algorithmendesign? Und wer erzählt dann die neuen Geschichten in Sobols Universum, wenn alles zum Bestandteil seines Spiel-Plots geworden ist?

Suarez: Die Menschheit hat immer schon Geschichten erzählt - das sind die wiederkehrenden Mythen, die unsere Hoffnungen und Ängste darstellen. Da ist es nur recht, wenn diese Mythen auch die von uns geschaffenen Welten prägen. Im Falle des Daemon schuf Sobol einen epischen Zyklus, in dem Helden und Bösewichte nach der Vorherrschaft in einer die reale Welt überlagernden virtuellen Welt streben. Aber auch in dieser Welt kann man die Geschichte ändern, wenn man sie beherrscht. Man kann etwas hinzufügen oder entfernen oder ganz neue Mythen schaffen. So wächst denn das Daemon-Darknet selbst seinem Schöpfer rasch über den Kopf. Sobol hätte unmöglich voraussagen können, was die Nutzer mit der von ihm in Gang gesetzten Welt anfangen. In einem sehr realen Sinn wusste nicht einmal Sobol, wie die Geschichte enden würde. Er hoffte, sie werde es niemals tun.

Rieger: Algorithmen, die von menschlichem Verhalten „lernen“ können, begegneten mir zum ersten Mal bei Unternehmen wie Google und Amazon. Jede Suchanfrage eines Nutzers, kombiniert mit der Information, welchen Link aus der Liste der Suchergebnisse er schließlich anklickt, wird als Antwort betrachtet. Die Menschen werden nach ihren Aktivitäten und Reaktionen klassifiziert und zusammen mit anderen, die ihnen zu ähneln scheinen, in virtuelle Schubladen einsortiert. Wo liegen Ihres Erachtens die Grenzen einer auf solchen Techniken basierenden Vorhersage menschlichen Verhaltens? Schließlich interagieren wir mehr und mehr mittels solcher Systeme.

Suarez: Ich glaube nicht, dass uns so etwas wie die „Psychohistorik“ aus Isaac Asimovs „Foundation“-Trilogie droht, aber mir scheint das menschliche Verhalten in der modernen Welt insgesamt doch erstaunlich vorhersagbar zu sein. Und wo die Vorhersage versagt, gibt es Manipulation. Werbung ist letztlich Manipulation, und wir werden nun einmal ständig mit Werbung überschüttet.

Das menschliche Gehirn hat sich über Hunderttausende von Jahren entwickelt, um mit seiner Umwelt zurechtzukommen, und wir können unsere „Verdrahtung“ nicht über Nacht grundlegend verändern. In einer von rascher Veränderung geprägten technologischen Welt sind wir angesichts unseres langsamen, auf biologischen Prozessen fußenden Entwicklungszyklus jedoch im Nachteil gegenüber Leuten, die gern auf unsere mentalen Knöpfe drücken möchten. Wir sind unbewegliche Ziele. In gewisser Weise könnte man das mit einer Situation vergleichen, in der wir gezwungen sind, mit einer ungeprüften Windows-Version zu arbeiten, obwohl die Hersteller von Schadprogrammen unseren Quellcode nach Schwachstellen durchsuchen können. Was treibt die Menschen an? Wo liegen unsere Schwächen, Vorlieben und Leidenschaften? Aus dem Meer der heute verfügbaren Daten zum Konsumverhalten und unseren Aktivitäten in den sozialen Medien schöpfen Werber fundamentales Wissen über uns. Wissen, das nicht einmal wir selbst kennen, wird allenthalben ver- und gekauft.

Ganz ähnlich kartiert man mit Hilfe der funktionellen Magnetresonanztomographie (fMRT) heute die Aktivitätszentren des Gehirns in Echtzeit. Das ist sinnvolle wissenschaftliche Forschung, aber uns sollte auch klar sein, dass wir hier das Betriebssystem des menschlichen Gehirns kartographisch erfassen. Wir können davon ausgehen, dass die Ersten, die aus den dort gewonnenen Erkenntnisse praktischen Nutzen ziehen, die Leute sein werden, die uns etwas verkaufen wollen - ob nun Hautcreme oder politische Ideologien. Die Voraussagen menschlichen Verhaltens werden also besser werden, aber wegen der Unterschiedlichkeit der Menschen trotzdem nie ganz genau. Der dicke mittlere Bereich der Glockenkurve, in dem die Voraussagen der Realität entsprechen, wird diese Forschung trotzdem zu einem profitablen Arbeitsgebiet machen. Meine Sorge ist, dass Außenseiter am Ende möglicherweise als „verdächtig“ gelten, weil sie nicht ins Schema passen - statt dass es gerade umgekehrt wäre.

Und nebenbei: Jedem, der die Namen seiner Kinder und Haustiere auf seiner Facebook-Seite auflistet und diese Namen, vielleicht noch in Kombination mit dem aktuellen Jahr, als Passwörter beim Online-Banking oder dergleichen verwendet, kann ich nur sagen, dass es da draußen Malware-Bots gibt, die ihnen beibringen werden, an Voraussagen zu glauben. Und falls ich Sie gerade davon überzeugt haben sollte, Ihr Passwort zu ändern - so funktioniert Manipulation.

Rieger: Die Gesellschaft, die Sie in Ihren Büchern beschreiben, ist im Kern die von heute. Eine undurchsichtige Kaste von Superreichen setzt alle erforderlichen Mittel ein, um den Status quo zu sichern, in dem Geld und Macht nur in eine Richtung fließen: nach oben. Die Skrupellosigkeit der herrschenden Kreise ist atemberaubend, aber im Kontext der Geschehnisse der letzten zehn Jahre keineswegs erstaunlich. Glauben Sie, dass die meisten „Sicherheitsgesetze“, die zuletzt verabschiedet wurden, nur Vorbereitung auf den Tag sind, an dem unser gegenwärtiges System seine Stabilität verliert? Wohin wird die wachsende Trennung in Ultrareiche und wirklich Arme eines Tages führen?

Suarez: Ich bin überzeugt davon, dass die plötzliche Fixierung auf „Sicherheitsgesetze“ sowohl im virtuellen Raum als auch in der physischen Realität aus der Erkenntnis resultiert, wie anfällig die moderne Welt - vor allem die Weltwirtschaft - selbst für geringfügige Störungen geworden ist. Mit diesem Trend geht die rasche Abkehr vom Rechtsstaat im Namen der „nationalen Sicherheit“ einher, wie etwa der Verlust an persönlichen Freiheitsrechten und das fortgesetzte Abhören ohne richterlichen Beschluss. Die rasche Aufgabe hochgeschätzter und schwer erkämpfter Rechte zeigt, dass hier etwas ganz falsch läuft. Historisch gesehen, geben Gesellschaften die Prinzipien der Rechtsstaatlichkeit auf oder pervertieren sie, wenn die Obrigkeit sich bedroht fühlt. Aber ich möchte behaupten, dass in vielen Ländern der Staat nicht mehr Träger der politischen Macht ist, sondern nur noch ein Agent der wahren Machthaber - des Ökosystems multinationaler Unternehmen. Und genau dieses System ist nun bedroht. Warum? In einem Wort: Effizienz.

Im letzten Jahrhundert hat das auf privatwirtschaftlichen Firmen basierende System weltweit in allen Industrien die Herrschaft errungen. Und das Grundprinzip von Firmen ist Effizienz. Die Konsolidierung der Landwirtschaft, der Medien, des Finanzwesens, der Telekommunikation, des Energiesektors et cetera in Großunternehmensstrukturen hat weite Teile des „Fettpolsters“ unserer Infrastruktur abgeschmolzen, die Profite erhöht und das Management zentralisiert. Doch solche „Fettpolster“ haben in der natürlichen Welt eine wichtige Funktion - sie helfen dem Organismus, plötzlich auftretende Probleme zu überleben. Und solche Probleme treten früher oder später auf: Unterbrechungen in der Versorgung mit Rohstoffen und anderen Ressourcen wie Öl, Trinkwasser, Kapital oder dergleichen; größere natürliche oder vom Menschen gemachte Katastrophen, subversive Aktivitäten von Außenseitern wie Terroranschläge oder von skrupellosen Insidern, etwa Wall-Street-Bankern.

Ein tatsächlich von Wettbewerb geprägter Markt, der vielfältigen konkurrierenden Interessen diente und in vernünftiger Weise reguliert wurde, um soziale Standards für Arbeitnehmer und Konsumenten zu sichern, lieferte früher dieses „Fettpolster“. Das war zwar nicht besonders effizient, aber dafür war ausgeschlossen, dass ein einziges korruptes Unternehmen fast die ganze Weltwirtschaft in Mitleidenschaft zog oder eine Malware-Infektion die Versorgung einer ganzen Gesellschaft oder die Finanzmärkte paralysierte. Die blindwütige Deregulierung in den Vereinigten Staaten und anderswo beseitigte die Beschränkungen für Monopolbesitz in wichtigen Branchen, höhlte die steuerliche Grundlage für die Erhaltung der Infrastruktur aus und zerriss den Sozialvertrag zwischen Arbeitnehmern und Arbeitgebern. Das Ergebnis war ein Präzisionssystem zur Verlagerung von Reichtum nach oben, das sich aber selbst anfällig für Subversion von innen und außen machte.

Unsere Infrastruktur zeigt inzwischen vielerorts beträchtliche Mängel, die niemand von denen, die an der Macht sind, eingestehen und für deren Reparatur niemand zahlen will. Darum glaube ich, dass die Mächtigen begonnen haben, sich in Erwartung eines sozialen Zusammenbruchs einzubunkern, eines Zusammenbruchs, zu dem es kommen wird, wenn die öffentliche Infrastruktur oder die Wirtschaft zusammenbricht. Natürlich möchten die Regierenden das so lange wie möglich hinausschieben, aber da es an gemeinsamen Anstrengungen zur Behebung der strukturellen Mängel fehlt, wird die Weltwirtschaft eher früher als später kollabieren.

Darauf wird eine Zeit folgen, die sowohl Gefahren birgt als auch Chancen eröffnet. Wahrscheinlich werden Demagogen versuchen, aus dem Volkszorn und den Ressentiments Profit zu schlagen, und wahrscheinlich werden sie einzelnen sozialen Gruppen die Schuld an diesem Zusammenbruch in die Schuhe schieben. Durch zentralisierte Kontrolle der Medien und des Internets dürfte die Plutokratenklasse dann jedoch nicht im Brennpunkt des Volkszorns stehen. Stattdessen wird man die Schuld auf illegale Einwanderung, islamischen Radikalismus, säkularen Humanismus oder ein anderes demographisches Segment schieben. Ob das zu einer Reihe neofeudaler Hightech-Stadtstaaten führt, deren wohlhabende Schichten über NetJet-Mitgliedschaften von einem umzäunten Seerosenblatt zum anderen hüpfen, wird die Zeit zeigen. Damit es kein Missverständnis gibt: Ich habe nichts gegen Reichtum. Wenn jemand etwas erfindet, etwas Innovatives oder Inspirierendes tut, verdient er es, belohnt zu werden. Aber es läuft etwas sehr schief, wenn die häufigste Quelle großen Reichtums heute darauf beruht, dass man im Finanzsystem zockt, Mittelschichtjobs vernichtet und keinerlei materiellen Wert erschafft.

Rieger: Ich bin ganz Ihrer Meinung, dass der irrsinnige Drang nach Effizienz der Kern der Probleme ist, unter denen die Welt leidet. Zu diesem Schluss bin ich ausgehend von der Frage gelangt, was unsere westlichen Gesellschaften zunehmend unmenschlich und kaltherzig hat werden lassen. Eine der Antworten darauf ist, dass alle Arten menschlicher Arbeit, die standardisiert werden können, so dass sie sich digital quantifizieren, analysieren, optimieren und schließlich zu Parametern innerhalb von Algorithmen strukturieren lassen, am Ende mit ganz wenigen Ausnahmen zu geistlosen Niedriglohnjobs werden. Nur wenn man das menschliche, zufällige, schöpferische Element so weit wie möglich beschränkt oder eliminiert, kann man zuverlässige Voraussagen machen und betriebliche Prozesse uneingeschränkt optimieren. Auf die Frage, welche bisher geschriebene Software die schädlichste sei, habe ich einmal geantwortet: Excel - weil es die Dehumanisierung der Menschen zu Parametern in abstrakten Profitabilitätsmodellen, zu „menschlichen Ressourcen“, fördert.

Sie beginnen Ihren Roman „Daemon“ mit einer Variante dieses Gedankens. Jemand wird aufgrund eines elektronischen Arbeitsauftrags eines beschränkten AI-Konstrukts getötet. Der Auftrag wird gewissenhaft von einem Hausmeister ausgeführt, der nicht einmal weiß, welche Wirkung das im Arbeitsauftrag vorgeschriebene Umlegen eines Hebels am Ende haben wird: die Hinrichtung eines Menschen. Sobols Daemon nutzt diese Technik später immer wieder für seine Interaktion mit der realen Welt. Stanislaw Lem hat einmal den Gedanken favorisiert, jede Arbeit, die von einer Maschine verrichtet werden könne, solle auch von einer Maschine verrichtet werden, damit die Menschen frei für interessantere und schöpferische Arbeit würden. Im Augenblick scheint aber etwas völlig anderes zu geschehen. Selbst geistige Arbeit wird inzwischen nach Fließband-Paradigmen organisiert, die auf Textmining-Algorithmen, semantischer Analyse und maschinellem Lernen basieren. Sehen Sie einen Ausweg aus dieser Dehumanisierungstendenz, außer den völligen Zusammenbruch unserer Zivilisation? Gibt es eine vernünftige Regulierung, die verhindern könnte, dass Gesellschaft und Wirtschaft die Grenze zwischen gesunder Schlankheit und krankhafter Magersucht noch weiter überschreiten?

Suarez: Ich sehe einen Weg, der den Zusammenbruch verhindern könnte, aber die etablierten Interessen werden nur widerwillig den Sprung zu einer weniger effizienten, aber widerstandsfähigeren Gesellschaft mitmachen. Selbst wenn die Vorstände der multinationalen Unternehmen die Risiken allzu schlanker Unternehmensstrukturen erkennen sollten, dürfte die Börse sie strafen, falls sie sich vom Ziel der Hypereffizienz verabschiedeten. Anleger würden sie verklagen und die Aufsichtsräte würden sie aus den Führungsetagen verbannen, bevor ein sinnvoller Wandel eingesetzt hätte.

Die Initiative muss daher vielmehr aus dem Volk kommen - und dabei denke ich nicht an Proteste und Demonstrationen, sondern an den Aufbau und die Erprobung neuer Wirtschaftsformen, digitaler Währungen, Augmented Reality und vermaschte Open-Source-Netzwerke, die eine neue Ökonomie und damit ein soziales Geflecht schaffen, das die etablierten Mächte samt ihren selbsternannten Torwächtern und Lobbyisten eher umginge als stürzte. Solch ein System würde zunächst nur in embryonaler Form geschaffen. Es zöge immer mehr Anhänger an, die aus der bestehenden Ökonomie herausgefallen sind, und setzte sich schließlich durch, wenn eine kritische Masse sich dem neuen System angeschlossen hätte. Man könnte sich auch eine Übergangsphase vorstellen, in der die Menschen mit einem Bein in der alten und mit dem anderen in der neuen Ökonomie stünden, so dass der Übergang nicht so abrupt ausfiele. Man stelle sich nur einmal vor, wie viele gut ausgebildete Menschen es gibt, die gerne einen Neuanfang in einer Welt wagten, in der ihre Schulden - die Erbsünde der freien Märkte - getilgt wären. Entscheidend ist, dass die Verantwortung für Aufbau und Erhaltung der Netzwerkknoten bei einzelnen Gemeinschaften liegt. Für die vernünftige Regulierung sorgt dann eine Gesellschaft, deren Bürger die physische Kontrolle über ihre Infrastrukturnetze ausüben.

Rieger: In Ihrem zweiten Buch, „Darknet“, führen Sie die Idee autarker Gemeinschaften ein, die sich auf wissenschaftliche und technologische Durchbrüche stützen, die zwar bereits funktionsfähig sind, aber nicht genutzt werden, weil sie sich im gegenwärtigen System nicht profitabel einsetzen lassen. Sie haben offenbar viel Zeit darauf verwandt, sich vielversprechende Technologen anzuschauen, zum Beispiel den CR5-Prozess, mit dessen Hilfe man flüssigen Treibstoff aus Luft und Sonnenenergie herstellen kann. Glauben Sie, man kann tatsächlich Alternativen zum gegenwärtigen System aufbauen, mit Gemeinschaften, die auf dem Gedanken einer dezentralen, nachhaltigen Hightech-Ökonomie basieren? Hat die Menschheit ausreichend ungenutzte oder unveröffentlichte wissenschaftliche Fortschritte angesammelt, die man dazu nutzen könnte?

Suarez: Die CR5-Technologie (Counter Rotating Ring Receiver Reactor Recuperator), die ich in „Darknet“ darstelle, benutzt ein Ferritmaterial und Sonnenenergie für die chemische Umwandlung von Kohlendioxid in Kohlenmonoxid, gewissermaßen eine energetische Aufladung oder eine Umkehrung der Verbrennung. Dadurch entstehen chemische Bauteile, die für die Synthese von Brennstoffen wie Methanol oder anderen petrochemischen Stoffen aus Luft erforderlich sind. Ob es genügend Technologien dieser Art zur Versorgung alternativer Gemeinschaften gibt, ist eine gute Frage. Schon jetzt erleben wir eine Revolution im Micromanufacturing - den sogenannten „Fab-Labs“ (Fabrikationslabors). Diese computergestützten Produktions- und Verarbeitungssysteme können auf der Grundlage von Computermodellen Endprodukte für Verbraucher herstellen und bieten Gemeinschaften bei entsprechender Vernetzung die Möglichkeit, Ausrüstungen und elektronische Bauteile herzustellen, deren Produktion ansonsten die am Ort vorhandenen Fähigkeiten überstiegen. Solche Verfahren sind auf den aktuellen Märkten nicht so kostengünstig wie die Massenproduktion, aber in einer Welt, in der das Erdöl irgendwann 350 Dollar pro Barrel kostet und politische Unruhen an der Tagesordnung sind, wird ein Transport von Waren aus Niedriglohngebieten um die halbe Erde kaum mehr praktikabel sein.

Ob Micromanufacturing und lokale Landwirtschaft tatsächlich eine brauchbare Alternative darstellen, wird von der lokalen Energieversorgung abhängen - denn Energie bildet das Fundament moderner Gesellschaften, und wenn ausreichend Energie zur Verfügung steht, können auch Stoffe chemisch umgewandelt werden. Dazu bedarf es einer nachhaltigen lokalen Energieerzeugung. Der freie Markt prüft alle sauberen Energiealternativen, die nach Preis und Ertrag mit fossilen Brennstoffen konkurrieren können, aber bislang unterbieten die fossilen Brennstoffe in den Kosten pro Energieeinheit alle übrigen Energiequellen mit Ausnahme der Atomkraft - sofern man nicht die astronomischen Kosten einer nuklearen Katastrophe einrechnet.

Wir sollten uns jedoch hüten, die Maßstäbe des aktuellen Wirtschaftssystems anzulegen, wenn wir das Kosten-Nutzen-Verhältnis alternativer Energiequellen prüfen. Mächtige Finanzinteressen haben erfolgreich dafür gesorgt, dass ihnen Steuervergünstigungen gewährt, Umweltauflagen gering gehalten und potentielle Konkurrenten mit beträchtlichen Restriktionen belastet werden. Außerdem werden zahlreiche Kosten der Produktion fossiler Brennstoffe externalisiert und der Allgemeinheit aufgebürdet, so dass sie nicht in den Preis pro Energieeinheit eingerechnet werden - man denke etwa an die Kosten des Klimawandels und von Umweltschäden wie der BP-Ölkatastrophe im Golf von Mexiko. Oder auch an die geradezu prohibitiven Kosten weltweiter Militäraktionen zur Sicherung ferner Ölquellen. Wenn man all diese Faktoren einrechnete, würden die wahren Kosten des Status quo sichtbar und die Kosten pro Kilowattstunde Wind- oder Solarenergie erschienen nicht mehr so haarsträubend hoch. Und schließlich, wenn unsere Gesellschaft neu strukturiert und in lokale Ökonomien aufgeteilt würde, so dass ein Salatkopf nicht im Durchschnitt 1500 Kilometer transportiert würde, bevor er auf den Markt kommt, wenn die Menschen wieder lokal zu leben und zu arbeiten begännen und untereinander durch vermaschte Netze verbunden wären, sänken auch die Energiekosten für den Transport und die Kostensteigerung pro Einheit sauberer Energie fiele um eine Größenordnung geringer aus. Werden wir den aktuellen Lebensstandard auch ohne neue Wundertechnologien halten können? Wir sind dabei, das herauszufinden.

Rieger: Die Frage, welche Staatsform die Menschheit braucht, um die kommende Krise zu bewältigen, zieht sich ganz buchstäblich als roter Faden durch „Darknet“. In den Darknet-Gemeinschaften gibt es das „Themis-Maß“, das die Machtverteilung zwischen Individuen und Gemeinschaft, also das politische Klima, misst. Der Daemon übernimmt dagegen die Funktion eines automatisierten wohlwollenden Diktators, der die Grundregeln durchsetzt, die ursprünglich von Sobol vorgegeben wurden und später vom gemeinschaftlichen Willen der Untertanen bestimmt werden. Um jeden Zweifel an der Effektivität und Gerechtigkeit der Durchsetzung dieser Regeln auszuräumen, führen Sie das fMRT-Brainscanner-System ein, das die Absichten der Menschen prüfen und letztgültig darüber urteilen soll.

Die Durchsetzung der Grundregeln orientiert sich an dem Gedanken, wonach die Bürger in Daemons Darknet ihre Privatsphäre fast vollständig aufgegeben haben, und zwar ganz freiwillig im Namen ihres Überlebens - und weil sie erkennen, dass sie angesichts der über sie bekannten Daten ohnehin transparent geworden sind. Auf mich als jemanden, der entschieden an die Privatsphäre als Schutz für das Individuum glaubt, wirkt dieser Gedanke recht dystopisch. Ihre Sicht scheint von den Game Masters in heutigen Multiplayer Online Games wie „World of Warcraft“ inspiriert zu sein, die über gottähnliche Macht verfügen, vollkommenen Einblick in Interaktionen haben und bei jedem Konflikt als oberster Schiedsrichter fungieren. Glauben Sie wirklich, dass die Menschheit sich in so großen Schwierigkeiten befindet, dass wir die Durchsetzung unserer fundamentalen sozialen Regeln Algorithmen überlassen sollten, in der Hoffnung, sie wären eher in der Lage als wir selbst, unsere Zukunft zu sichern? Glauben Sie, wenn wir uns ohnehin Maschinen unterwerfen, sollten wir wenigstens dafür sorgen, dass es gute Maschinen sind?

Suarez: Ich glaube ganz sicher nicht, dass wir uns Maschinen - oder den Algorithmen, die sie steuern - unterwerfen sollten, aber diese Veränderung ist längst im Gang. Computernetzwerke und die darin bewegten Daten sind zur Plattform für die menschliche Gesellschaft geworden, und unsere Gesellschaft kommt gar nicht umhin, über die Struktur dieses Netzwerks nachzudenken. Dieses Netzwerk hat keine demokratische Struktur, denn es ist von gewaltigen Machtungleichgewichten geprägt, und auch unsichtbare Mächte, ob staatlicher, privatwirtschaftlicher oder krimineller Art, lauern dort, die niemandem rechenschaftspflichtig sind. Innerhalb dieses Datenmeers „schwimmen“ die Software-Bots wie in der Ursuppe. Sie haben Macht über die Daten, und die Daten haben Macht über uns. Denn für die Gesellschaft sind wir die Summe unserer Daten.

In diesem Sinne sind Algorithmen die Gesetze des 21. Jahrhunderts - die zahllosen gehorsamen Vollstrecker des wuchernden hierarchischen sozialen Systems. Sie gleichen unserem offiziellen gesetzlichen Rahmen und erlangen zunehmend eine ähnliche Macht über uns. Algorithmen kodifizieren den Willen ihrer Schöpfer. Indem sie Regeln und Parameter festlegen, begrenzen sie den menschlichen Einfluss, strukturieren unsere Interaktionen, kanalisieren das Spektrum der Möglichkeiten in eine endliche Zahl von Pfaden. Wenn unser Input in diesem System zu keinem befriedigenden Ergebnis führt, bleibt uns keine andere Wahl, als unseren Input zu verändern, denn nicht die Algorithmen, sondern wir haben uns dort zu verändern.

Gesetze und Algorithmen haben in dieser Hinsicht einige dehumanisierende Eigenschaften gemein. Aber es gibt einen fundamentalen Unterschied zwischen juristischen und algorithmischen Gesetzen. Der Mensch gilt im neuen algorithmischen Rahmen nicht als unschuldig. Hier sind es die Algorithmen, die bis zum Beweis des Gegenteils, also der Schuld, als gutartig oder unschuldig gelten - und selbst dann besteht eine Tendenz zu der Annahme, das System habe eine subtile Komplexität berücksichtigt, die wir als Außenstehende nicht verstünden. In meiner sechzehnjährigen Laufbahn im IT-Bereich habe ich erlebt, dass man menschliche Entscheidungen schon in beträchtlichem Maß Algorithmen überlassen hat, und ich erwarte, dass dieser Trend sich fortsetzt.

Sowohl in „Daemon“ als auch in „Darknet“ postuliere ich eine Welt, in der Software-Bots für die Durchsetzung der sozialen Ordnung sorgen, einschließlich der Strafgerichtsbarkeit. Aber in dieser Welt ist diese Struktur dazu da, dass die Menschheit den Bots den Mantel der Gerechtigkeit wieder abnimmt. Der Menschheit wird die Bürde auferlegt, ihre Freiheit zu rechtfertigen, und der Weg wird ihr ganz buchstäblich aufgezeigt. Im realen Leben ist dieser Weg nicht so klar erkennbar, aber die Gefahr einer technologisch gestützten Despotie ist tatsächlich sehr real.

Ich glaube, die fundamentale Frage unserer Zeit lautet, ob die Technologie uns befreien oder versklaven wird. Wir müssen diese Frage rasch beantworten und dürfen das Ergebnis nicht dem Zufall überlassen. Das Schicksal zukünftiger Generationen hängt davon ab, dass wir an diesen Scheidewegen den richtigen Weg wählen. Wie bei allen komplexen Systemen erzeugen frühere Entscheidungen ein Trägheitsmoment, das spätere Revisionen erschwert. Wenn wir also weiterhin ein System konstruieren, das Macht und Entscheidungen zentralisiert, das immer stärker auf Massenproduktion und Gleichförmigkeit setzt, um die Erträge zu maximieren, schaffen wir etwas, das nicht mit Demokratie vereinbar ist und sich notwendigen Veränderungen widersetzt. Es ist von lebenswichtiger Bedeutung, dass wir Systeme konstruieren, die zu demokratischen Strukturen passen und sie stützen - dass wir unsere Werte fest in der DNA dieser neuen technologischen Welt verankern, damit schrittweiser Wandel, Vielfalt und dezentrale Entscheidungen weiterhin möglich sind.

Was nun die dystopischen Aspekte der fMRT-Brainscanner in meinen beiden Büchern angeht, so handelt es sich dabei nicht um Blaupausen für eine Gesellschaft. Meine Geschichten sollen warnen und dazu anregen, über die Folgen und die Möglichkeiten nachzudenken, die sich uns bieten. Die funktionelle Magnetresonanztomographie als Instrument zur Ermittlung menschlicher Intentionen wird kommen. Kein Wunschdenken vermag einer Technologie Einhalt zu gebieten, deren Zeit gekommen ist. Wir können nur Einfluss darauf nehmen, wie diese Technologie genutzt wird. Sollten wir eine Bill of Rights für das 21. Jahrhundert schaffen? Könnte solch ein Dokument das Recht sichern, dass kein menschliches Gehirn ohne gerichtlichen Beschluss durchsucht werden darf? Und sollten wir eine Klausel hinzufügen, die besagt, dass alle Lebewesen allein sich selbst gehören - sodass keine Patente auf Gene gewährt werden dürften und kein Biotech-Unternehmen die alleinige Kontrolle darüber erlangen darf?

Rieger: Heute werden selbst datengetriebene Algorithmen noch von Menschen kontrolliert. In manchen Fällen - wie bei automatisierten Börsenhandelssystemen - erstreckt sich diese Kontrolle vor allem auf die Frage, ob sie die Zielsetzungen ihrer Herren erfüllen. Sie ähneln autonomen zielsuchenden Waffensystemen, deren menschliche Herren aufgrund ihrer Komplexität nur über einen Selbstzerstörungsbefehl als letzte Kontrollmöglichkeit verfügen. Aber auch hier bilden menschliche Absichten und Programmierer noch den Kern dieser Algorithmen. Ist es nicht notwendig, sich auf genau diese Menschen zu konzentrieren, auf die implizite Macht, die sie ausüben, weil sie die Systeme programmieren oder, wichtiger noch, die Ziele der Programmierung vorgeben und die zugehörigen Geschäftssysteme und Regeln festlegen? Erlangen nicht gerade die ethischen und moralischen Grundsätze, an denen diese Menschen sich orientieren, größte Bedeutung, weil die AI-Techniken ihre Macht stark vergrößern?

Suarez: Talentierte Programmierer haben theoretisch beträchtliche Macht, aber Software von einiger Komplexität wird von Teams entwickelt, und diese Teams haben Termine und Budgets. Die größten Gefahren resultieren meines Erachtens nicht aus böswilligen Absichten, sondern aus Skrupellosigkeit. Die Zwänge des freien Marktes veranlassen Firmen, viel zu kurze Entwicklungszeiten vorzugeben und viel zu kleine Budgets bereitzustellen, unter denen Qualität und Erprobung der Programme leiden. Der schnelle Wechsel in den Belegschaften, Spaghetticode - all diese Dinge führen dazu, dass in modernen Programmen riesige Sicherheitslücken klaffen, ohne dass es dazu einer Verschwörung bedürfte. Dazu kommt es erst später, wenn ein von einem destruktiven Hacker oder einem Geheimdienstmitarbeiter entdeckter Zero Day Exploit genutzt wird, um in Millionen Computer einzudringen, auf denen ein populäres, aber mangelhaftes Programm läuft.

Wenn man sich auf die Entwicklung von Qualitätssoftware und auf Ethik konzentriert, betrifft das die Programmierer, aber auch das IT-Management und die Unternehmensführung - und in ähnlicher Weise auch Wall-Street-Analysten und Investoren, die erst einmal nachdenken sollten, bevor sie ein Unternehmen mit Kursrückgängen bestrafen, weil sich die Auslieferung einer Software verzögert - was ja durchaus eine sehr vernünftige Entscheidung sein könnte. Die Liste der möglichen Schuldigen wird da schon bald so lang, dass von einer Konzentration auf einzelne Bereiche kaum die Rede sein kann.

Und da ist dann noch das Problem des „emergenten Verhaltens“ - also unerwarteter Wechselwirkungen mit anderen Programmen, die zu einem Verhalten führen, das niemand vorhergesehen hat. Hier stellt sich die Frage, ob Algorithmen überhaupt noch bewusst von Menschen kontrolliert werden. Sind wir noch in der Lage, solche komplexen Prozesse nachzuvollziehen? Menschen neigen dazu, zu akzeptieren, was Maschinen ihnen sagen. Wenn ein Algorithmussystem sich eine Zeitlang als nützlich erwiesen hat, wird dessen Output als Tatsache anerkannt. Schlimmer noch: Oft wird seine Anwendung über den Bereich hinaus ausgedehnt, für den das Entwicklerteam sie ursprünglich vorgesehen hatte. Die Initiative zu dieser Erweiterung kommt oft aus Kreisen außerhalb des Teams, als Reaktion auf geschäftlichen oder politischen Druck, möglichst großen Nutzen aus dem Erfolg zu ziehen. Ein Beispiel: Viele quantitative Analysten an der Wall Street entwickelten ihre Modelle zur Bewertung von Anlagerisiken ursprünglich für den Hausgebrauch, aber in manchen Fällen drängten die Verkaufs- oder Marketingabteilungen, diese Modelle zur Grundlage für öffentliche Risikobewertungen zu machen, um sich bei Investoren hervorzutun und bessere Geschäfte zu machen. Da kann es vorkommen, dass die Programmierer gar nicht wissen, wofür ihre Systeme später gebraucht oder missbraucht werden. Sie arbeiten vielleicht sogar längst nicht mehr für das betreffende Unternehmen, doch ihre Logik lebt in einem System weiter, das nun in einer Weise eingesetzt wird, für die es ursprünglich nicht gedacht war. Im Fall der Analyse von Anlagerisiken kam das Ergebnis einem Zusammenbruch der Weltwirtschaft bedenklich nahe. Und das könnte auch weiterhin geschehen.

Statt uns auf eine immer strengere ethische Überprüfung der Programmierer (oder auch der fMRT-Brainscans) zu verlassen, sollten wir es der Natur nachtun - nämlich unsere Systeme unterteilen und diversifizieren. Die Natur bestraft einzelne Fehlschläge, weil ein gewisses Maß an Fehlschlägen unvermeidlich ist. Wir sollten daher in erster Linie zu vermeiden versuchen, dass Fehlschläge sich kaskadenförmig ausbreiten, und unsere Fähigkeit verbessern, uns von solchen Fehlschlägen rasch zu erholen. So können wir den Schaden begrenzen, wenn wir uns irren. Und wir müssen die Tatsache anerkennen, dass wir uns gelegentlich irren.

Worum es bei Daniel Suarez geht

Sind wir noch sicher, wenn alle vernetzt sind? In seinen höchst erfolgreichen Thrillern „Daemon“ und „Darknet“ entwirft Daniel Suarez
mit außerordentlich hoher technologischer Kenntnis die beunruhigend realistische Vision einer Gesellschaft, die von Computern mehr und mehr entmündigt wird. Die Handlung kreist um das Vermächtnis eines Computergenies, das lernfähige Software dazu benutzt, sich die Menschheit zu unterwerfen.

Der amerikanische Autor Daniel Suarez, Jahrgang 1964, arbeitete zunächst als Softwareentwickler und Systemberater, bevor er 2006 „Daemon“ veröffentlichte. Die Fortsetzung „Darknet“ erscheint heute, am Montag, im Rowohlt Verlag.

Glosse

Nackte Frauen reichen nicht mehr

Von Ursula Scheer

Alles außer Autoreifen: Es begann mit leicht bis kaum bekleideten Frauen, doch das ist längst kein Thema mehr. Der Pirelli-Kalender gibt sich immer bedeutsamer. Mehr 2 6

Abonnieren Sie den Newsletter „Literatur“

Zur Homepage