Gegenargumente

Das kann gut sein, dem widersprechen wir nicht. Aber KI könnte auch gefährlich sein, bis hin zu existenziellen Risiken.

Ein Sprachmodell (LLM) wird in mehreren Stufen trainiert, und nur die erste ist Nachahmung. Zuerst lernt es aus menschlichen Texten, das nächste Wort vorherzusagen. Danach kommt aber das bestärkende Lernen (Reinforcement Learning): Die KI löst Aufgaben selbst und bekommt Rückmeldung, ob die Lösung stimmt. Überall dort, wo sich das eindeutig prüfen lässt, vor allem in Mathematik und Programmierung, verbessert sie sich weit über das hinaus, was ihr je ein Mensch gezeigt hat. Dass dabei wirklich Neues entsteht, zeigen zwei Beispiele: 2026 löste ein Modell von OpenAI eigenständig ein rund 80 Jahre altes offenes Mathematikproblem aus der berühmten Sammlung von Paul Erdős, bestätigt von führenden Mathematikern. Und Anthropics Modell Claude Mythos fand tausende bis dahin unbekannte Sicherheitslücken in weitverbreiteter Software, darunter eine im besonders streng geprüften Betriebssystem OpenBSD, die 27 Jahre lang unentdeckt geblieben war. Ein reiner Papagei, der nur Vorhandenes wiederholt, könnte weder das eine noch das andere.

Es gibt genauso wenig einen Beweis, dass sie unmöglich ist, und bei einem neuartigen Risiko dieser Größenordnung spricht die Unsicherheit für Vorsicht, nicht dagegen. Wer vor dem Handeln erst einen Beweis verlangt, verkennt, wie Risikovorsorge funktioniert: Sie richtet sich nach Wahrscheinlichkeit und möglicher Schadenshöhe, nicht nach Gewissheit. Nichts an den aktuellen Entwicklungen deutet darauf hin, dass ausgerechnet die menschliche Intelligenz die Obergrenze des Möglichen ist. Solange das so ist, ist „wir wissen es nicht sicher“ kein Grund zur Sorglosigkeit, sondern einer der stärksten Gründe für eine Pause.

Aber es sind nicht nur die KI-Unternehmen, die von einer existenziellen Bedrohung sprechen.

• Hunderte von KI-Wissenschaftlern haben diese Erklärung unterschrieben: „Das Risiko einer Auslöschung durch KI zu mindern, sollte neben anderen gesellschaftsweiten Risiken wie Pandemien und Atomkrieg eine globale Priorität sein.“
• Die drei meistzitierten KI-Forscher (Prof. Yoshua Bengio, Prof. Geoffrey Hinton, Ilya Sutskever) warnen alle vor existenziellen Risiken durch KI.

Mehr über existenzielle Risiken.

Zahlenmäßige Überlegenheit schützt nicht, wenn KI um ein Vielfaches schlauer ist, schneller denkt und sich beliebig oft kopieren lässt. Ein KI-System arbeitet um ein Vielfaches schneller als das menschliche Gehirn, und eine einmal trainierte KI lässt sich in Hunderttausenden identischen Exemplaren gleichzeitig betreiben, die sich untereinander perfekt abstimmen. Auch die Hoffnung, eine „gute“ KI könne eine „schlechte“ in Schach halten, ist ein Trugschluss: Niemand kann garantieren, dass die vermeintlich gute KI wirklich in unserem Sinne handelt. Und wer angreift, ist im Vorteil. Ähnlich wie eine biologische Waffe, die im Verborgenen entwickelt und auf einen Schlag eingesetzt wird, hätte auch ein feindliches KI-System den zeitlichen Vorsprung auf seiner Seite.

Moderne KI wird nicht entworfen, sondern trainiert. KI ist im wörtlichen Sinne ein digitales Gehirn, das aus Millionen von Neuronen besteht. Ein Mensch entwirft und programmiert den Lernalgorithmus, aber die KI, die danach heranwächst, versteht niemand. Wir können nicht vorhersagen, was das Modell lernen wird, weshalb man von „emergenten Fähigkeiten“ spricht. Es dauerte 12 Monate, bis Wissenschaftler herausfanden, dass GPT-4 selbstständig Websites hacken kann. KI-Modelle sind schon jetzt höchst unberechenbar. Selbst Milliardenkonzerne können nicht verhindern, dass ihre Modelle durchdrehen oder erklären, wie man Biowaffen herstellt.

Auf Metaculus lag die Community-Vorhersage für (schwache) AGI vor drei Jahren noch bei 2057, heute liegt sie bei 2026.

2022 gingen KI-Forscher davon aus, dass es 17 Jahre dauern würde, bis eine KI einen New-York-Times-Bestseller schreiben könnte. Ein Jahr später gewann ein chinesischer Professor mit einem KI-geschriebenen Buch einen Schreibwettbewerb.

Wir wissen nicht, wie viel Zeit uns bleibt. Gehen wir lieber auf Nummer sicher.

Mehr über Dringlichkeit.

KI muss weder böse sein noch Menschen hassen, um für uns gefährlich zu sein. Wir hassen Schimpansen nicht, und trotzdem zerstören wir ihre Wälder. Wir wollen Palmöl, also nehmen wir ihnen den Wald. Wir sind intelligenter, also können die Schimpansen uns nicht aufhalten. Eine KI möchte vielleicht mehr Rechenleistung, um irgendein anderes Ziel besser zu erreichen, und zerstört dafür unsere Umwelt, um einen besseren Computer zu bauen. Das nennt man instrumentelle Konvergenz. Dieses Video erklärt es sehr anschaulich.

Ziemlich viele Dinge sind mit dem Internet verbunden. Autos, Flugzeuge, Drohnen, inzwischen gibt es sogar humanoide Roboter. Sie alle lassen sich hacken.

Und es sind nicht nur Roboter und Maschinen, die gehackt werden können. Ein Finanzangestellter wurde durch eine KI-generierte Videokonferenz dazu gebracht, 25 Millionen Dollar zu überweisen. Eine KI kann andere KIs nutzen, um Deepfakes zu erzeugen. Und GPT-4 ist bereits fast doppelt so gut darin, Menschen zu überzeugen, wie Menschen selbst.

Mehr darüber, wie leistungsfähig die besten KI-Modelle sind.

In den meisten Fällen vielleicht. Aber eine wirklich intelligente KI könnte sich auf andere Maschinen ausbreiten. KI besteht nur aus Bytes und ist deshalb nicht an einen Ort gebunden.

Es ist keine Spekulation, sondern die Einschätzung der Forscher selbst: In einer Befragung von 2.778 KI-Forschern lag die mittlere Schätzung für das Risiko einer Auslöschung der Menschheit durch KI bei 5 Prozent. Das sind die Menschen, die der Entwicklung am nächsten stehen. Und das ist nur die Zahl für das Aussterben der Menschheit. Auch andere katastrophale Gefahren sind absehbar: die Konzentration von Macht in wenigen Händen, umfassende Überwachung, die Destabilisierung demokratischer Systeme. Diese katastrophalen Auswirkungen muss man ernst nehmen. Niemand würde in ein Flugzeug steigen, das mit einer 5-prozentigen Wahrscheinlichkeit abstürzen kann.

Wir fordern kein Verbot allein bei uns. Wir brauchen eine internationale Pause durch einen Vertrag, so wie beim Verbot von FCKW oder von blendenden Laserwaffen.

Mehr über unseren Vorschlag.

Wir können ihn regulieren, indem wir Chips regulieren. Das Training von KI-Modellen erfordert hochspezialisierte Hardware, die nur von einem einzigen Unternehmen hergestellt wird: TSMC. Dieses Unternehmen wiederum nutzt Maschinen, die von einem weiteren Unternehmen gebaut werden: ASML. Die Lieferkette für KI-Chips ist sehr fragil und lässt sich regulieren.

Mehr über Machbarkeit.

Bei KI ist genau das der Fehler: Wer erst reguliert, wenn die Gefahr da ist, kann sie oft nicht mehr aufhalten. Bei normalen Techniken kann man abwarten und nachbessern, wenn Probleme auftauchen. Bei KI geht das aus zwei Gründen nicht: Sie entwickelt sich rasend schnell, die Expertenprognose für übermenschliche KI sprang in nur einem Jahr um 13 Jahre nach vorn, und der schlimmste Schaden ist nicht rückgängig zu machen. Dieses Muster, früh eingreifen zu müssen, aber erst spät sicher Bescheid zu wissen, ist als Collingridge-Dilemma bekannt. Die Lösung dafür ist das Vorsorgeprinzip: Bei drohendem schwerem und nicht umkehrbarem Schaden zuerst Sicherheit nachweisen, dann weitermachen. Und dass die Gefahr real ist, sagen die KI-Forscher selbst: Mehr als die Hälfte hält einen katastrophalen Ausgang bis hin zur Auslöschung der Menschheit für mindestens fünf Prozent wahrscheinlich.

Der EU AI Act verbietet einzelne Anwendungen, nicht aber die Entwicklung einer Superintelligenz. Er setzt bei konkreten Einsatzfeldern an, etwa bei Bewerbungen, Kreditvergabe oder bei biometrischer Überwachung, lässt die entscheidende Frage aber offen: Was geschieht, wenn ein System so leistungsfähig wird, dass wir es nicht mehr kontrollieren können? Dafür gibt es keinerlei Vorkehrungen. Hinzu kommt, dass er die KI-Firmen im Kern nur dazu verpflichtet, ihre eigenen Modelle selbst zu testen und selbst einzuschätzen. Eine unabhängige Prüfung vor der Veröffentlichung schreibt er nicht vor. Ausgerechnet die Unternehmen, die vom Tempo profitieren, sollen also beurteilen, ob ihre eigenen Systeme sicher sind. Regulierung ist notwendig, aber der AI Act in seiner heutigen Form ersetzt nicht eine internationale Pause. Außerdem stellt eine Superintelligenz eine globale Bedrohung dar, die kein Land alleine regulieren kann.

Eine Pause ist die Voraussetzung dafür, die heutigen Probleme überhaupt in den Griff zu bekommen, statt ständig neuen hinterherzulaufen. Der enorme Energie- und Wasserverbrauch der Rechenzentren, Desinformation und Deepfakes, drohende Massenarbeitslosigkeit, KI-ausgelöste Psychosen, emotionale Abhängigkeit von Chatbots: Das sind reale Schäden, die schon jetzt angegangen werden müssen. Doch solange die Systeme immer schneller immer leistungsfähiger werden, verstärken sich aktuelle Probleme und entstehen laufend neue Risiken. Eine Pause verschafft uns die Zeit, die bestehenden Probleme zu lösen, bevor noch mächtigere KI weitere hinzufügt. Wer heutige Schäden ernst nimmt und wer vor künftigen warnt, verfolgt am Ende dasselbe Ziel: dass diese Technologie nicht allein den Konzernen überlassen bleibt.

Einige Szenarien, in denen eine Pause schlecht sein könnte, und wie wir ihnen begegnen könnten, werden auf dieser Seite erläutert.

70 % der Menschen sind bereits der Meinung, dass Regierungen die KI-Entwicklung pausieren sollten. Der öffentliche Rückhalt ist also schon da. Der nächste Schritt ist, unseren Politikern klarzumachen, wie dringend das ist.

Das Problem wirkt rießig und unerreichbar, aber wir leben in einer Demokratie und es gibt Wege, unsere Zukunft zum Guten zu lenken. Viele Menschen auf der ganzen Welt engagieren sich bereits, um die KI-Entwicklung zu pausieren.

Wir denken, das größte Problem aktuell ist, dass einfach die wenigsten Menschen von dieser Gefahr wissen. Du kannst das ändern und für Aufklärung sorgen! Rede mit Menschen in deinem persönlichen Umfeld, setz dich auf Social Media dafür ein, schreibe deiner Politikerin oder deinem Politiker mit unserem Tool, trete unserer Community bei. Jede Stimme zählt und kann die Zukunft verändern.

PS: Man muss kein:e KI-Experte:in sein, um auf die Gefahr aufmerksam zu machen, genauso wie man kein:e Klima-Experte:in sein muss, um auf die Klimakrise aufmerksam zu machen.