Ein algorithmischer Alleskönner
- -Aktualisiert am
Wenn Software in die Tasten greift, klingt das Resultat schon mal wie der Aufsatz eines Teenagers, der zu viel Nietzsche gelesen hat. Bild: ddp/Viktors Ignatenko
Ein Computerprogramm lernt Texte perfekt zu vervollständigen und kann dann plötzlich noch viel mehr. Wie schafft es das? Und was passiert, wenn die KI zu gut wird?
Normalerweise sind Informatiker nicht beeindruckt, wenn ein Computerprogramm ein paar Zahlen addieren kann und dabei auch noch Fehler macht. Doch genau das passierte diesen Sommer. Da stellte die kalifornische Software-Firma „OpenAI“ ihr Programm „GPT-3“ vor. Es kann kleine Zahlen addieren und subtrahieren. Der Clou ist aber: Dafür war es nie gedacht. Eigentlich handelt es sich um ein Sprachmodell. Es macht nichts anderes, als sich einen Text anzuschauen und zu bestimmen, welches Wort als nächstes kommen sollte. Wir kennen solche Systeme von den Vorschlägen einer Smartphone-Tastatur. Wenn man da „Sehr geehrter“ eintippt, empfiehlt sie als Nächstes „Herr“. GPT-3 kann das auch. Es hat die menschliche Sprache aber so gut gelernt, dass es sich – ganz nebenher – beigebracht hat, kleine Rechenaufgaben zu lösen. Und nicht nur das.
Das G im Namen steht für „Generative“. Das Modell kann generieren, das heißt hier: ein Wort auswählen, das nach seiner Logik als nächstes folgen sollte. Diese Fähigkeit hat es vorab gelernt, daher steht das P für „pre-trained“. GPT-3 hat dazu Texte mit Hunderten Milliarden von Wörtern durchforstet: Zeitungsartikel, Wikipedia-Einträge, Kochrezepte, Tweets, Gedichte, Songtexte – was man so im Internet findet. Das T steht schließlich für „Transformer“. Diese Art von maschinellem Lernen erkennt, welche Teile des bisherigen Textes besonders wichtig sind, um das nächste Wort zu bestimmen. Damit kann es Formulierungen in Beziehung setzen, die mitunter mehrere Absätze voneinander getrennt sind. Diese Idee ist nicht neu, sie stammt aus dem Jahr 2017. Neu ist die Größe von GPT-3: Während es die Texte durchwühlte, hat es in seinem Inneren 175 Milliarden Parameter eingestellt – kleine Stellschrauben, die bestimmen, wie das System genau arbeitet. Das bis dahin aufwendigste System hatte gerade mal ein Zehntel davon.
Behalten Sie das Geschehen umfassend im Blick.
Zugang zu allen F+Artikeln
- Alle wichtigen Hintergründe zu den aktuellen Entwicklungen
- Exklusive Berichte zur Corona-Pandemie und anderen Themen
- Über 500 F+Artikel pro Monat
- Jederzeit kündbar
Sonntagszeitung plus
Jetzt F+ und am Sonntag Lesegenuss mit der FAS
Nur 5,95 € /WOCHE
- Starke Themen, mutige Standpunkte: Die digitale Sonntagszeitung
- Bereits am Vorabend ab 20 Uhr
- Zugang zu allen F+Artikeln
- Jederzeit kündbar
Login für Digital-Abonnenten
Sie haben Zugriff mit Ihrem F+ oder F.A.Z. Digital-Abo
