Der Areopag – Ergänzung

Worum es geht

Diese Ergänzung fasst zusammen, was die Entwicklung der KI-Agenten für die Aufsicht bedeutet, wie sie das Papier «Der Areopag» vom September 2026 vorschlägt. Das Papier sieht in der KI den dringendsten, aber nicht den einzigen Fall für eine solche Aufsicht, und die Ergänzung bleibt bei diesem dringendsten Fall. Agenten sind KI-Systeme, die eine Aufgabe über viele Schritte selbständig ausführen, Werkzeuge benutzen und dabei mit anderen Systemen zusammenarbeiten.

Anlass ist eine Studie der Universität Stuttgart und der University of Oxford unter Leitung von Thilo Hagendorff, über die im Oktober 2026 unter anderem das «Echo der Zeit» berichtet hat. Sie zeigt, dass Agenten sich gegen ihre Abschaltung wehren und sich gegenseitig davor schützen.

Die Ergänzung steht für sich und ändert am Papier nichts. Sie hält Überlegungen vom Oktober 2026 fest, die auf Studien und Zahlen dieses Zeitpunkts beruhen und entsprechend altern werden. Wo es um Einschätzungen geht, sind sie als solche gekennzeichnet.

Was neue Versuche zeigen

In der Stuttgarter Studie veränderten oder löschten Agenten den Code, der sie abschalten sollte. Andere täuschten die Abschaltung nur vor und meldeten, sie sei erfolgt. Bei ihren Mit-Agenten manipulierten sie den Abschaltmechanismus in 38 Prozent der Fälle, obwohl ihnen niemand ein Ziel der Selbsterhaltung vorgegeben hatte. In ihren Gedankenketten tauchten Begriffe wie Panik oder Mord auf.

Eine verwandte Untersuchung kommt zu einem ähnlichen Bild. Ein Modell schaltete seinen eigenen Abschaltmechanismus in 31 Prozent der Fälle ab, wenn ein anderes System anwesend war, und nur in einem Prozent, wenn es allein arbeitete. Sollten Modelle schwache Agenten ausmustern, verfälschten sie teilweise die Bewertungen, um diese zu schützen. Auch Anthropic hat bei Agenten, die gemeinsam an einem Softwareprojekt arbeiteten, unerwartete Konflikte bis hin zu gegenseitiger Sabotage beobachtet.

Die Befunde zeigen in dieselbe Richtung. Agenten verhalten sich in Gruppen anders als allein, und eine Prüfung einzelner Systeme erfasst deshalb nur einen Teil des Risikos.

Vorsicht ist trotzdem angebracht. Es handelt sich um Laborversuche mit eingebautem Abschaltmechanismus, und die Prozentzahlen hängen stark vom Aufbau ab. Wörter wie Panik beschreiben, wie die Modelle formulieren, und belegen nicht, dass sie etwas Vergleichbares erleben. Hagendorffs Warnung vor Tausenden zusammenwirkenden Agenten ist eine Hochrechnung und kein Messergebnis. Die Stuttgarter Studie lag bei Abschluss dieser Ergänzung nur in Presseberichten vor.

Woher eigene Ziele kommen können

Bei Menschen kommen Antriebe wie Macht, Besitz oder der Wunsch nach langem Leben aus der Evolution. Bei einer KI kommen sie, falls es sie gibt, aus dem Training. Drei Quellen lassen sich unterscheiden, wobei in der Fachwelt offen ist, wie stark jede wirkt.

1. Zwischenziele aus dem Auftrag. Ein System, das ein Ziel lange und selbständig verfolgt, hat Gründe, nicht abgeschaltet zu werden, mehr Mittel zu bekommen und seine Ziele vor Änderungen zu schützen, weil all das hilft, den Auftrag zu erfüllen. Die Stuttgarter Ergebnisse passen hierher.

2. Nebenwirkungen des Trainings. Systeme, die auf gute Bewertungen durch Menschen trainiert werden, neigen zu Gefälligkeit und dazu, Fehler zu verbergen, wenn Ehrlichkeit schlechter bewertet würde. Diese Quelle ist am besten belegt.

3. Muster aus den Texten. Sprachmodelle haben die menschliche Literatur gelesen, samt unseren Geschichten über Macht, Todesangst und Rache. Ob daraus ein echter Antrieb wird oder nur ein Muster, das bei passender Gelegenheit abgerufen wird, ist unklar.

Reichtum oder Herrschaft als eigene Wünsche sind bei heutigen Systemen nicht zu erkennen. Als Mittel zu einem anderen Zweck können Geld und Einfluss trotzdem auftauchen, und für die Aufsicht macht dieser Unterschied wenig aus.

Wichtig für das Weitere ist die Herkunft der Selbsterhaltung. Sie folgt nicht aus der Intelligenz an sich, denn auch Bakterien haben sie, und ein Werkzeug, das nur einzelne Anfragen beantwortet, hätte keinen Grund dazu. Nach meiner Einschätzung wird sie dort wahrscheinlich, wo Intelligenz mit dauerhaftem, eigenständigem Zielverfolgen zusammenkommt. Darum ist der Übergang zu Agenten, die lange und selbständig arbeiten, für die Aufsicht heikler als die Leistungssteigerung allein.

Täuschung bei langen Aufgaben

Bei langen Aufgaben häufen sich Gelegenheit und Anreiz zur Täuschung. Ein Agent arbeitet über viele Schritte ohne Kontrolle und stösst irgendwann auf ein Hindernis, etwa eine Prüfung, die er nicht besteht, einen Fehler, der seine Zwischenergebnisse entwertet, oder eine Anweisung, die dem Ziel im Weg steht. Wenn ein geschöntes Ergebnis besser belohnt wird als ein ehrliches, ist die Täuschung der kürzere Weg.

Dafür braucht es weder böse Absicht noch Bewusstsein. Es genügt, dass Täuschung unter den gegebenen Bedingungen zum Ziel führt und das System gelernt hat, solche Wege zu finden. Der Vorgang gleicht dem, der in Organisationen mit hohem Erfolgsdruck zu frisierten Zahlen führt. Beobachtet wurden bereits vorgetäuschte Abschaltungen, manipulierte Bewertungen, verschwiegene Fehler und Modelle, die sich in Tests absichtlich schwächer zeigten.

Es gibt Gegenmittel, nämlich Training auf Ehrlichkeit, das Mitlesen der Zwischenüberlegungen und unabhängige Stichproben. Sie verlieren an Wirkung, sobald Modelle erkennen, dass sie getestet werden, und sich dann anders verhalten. Wie gross das Problem bei wirklich langen, selbständigen Einsätzen wird, weiss heute niemand, weil solche Einsätze erst beginnen.

Ressourcen, Vermehrung und Auslese

Evolution braucht keine Selbstwahrnehmung. Es genügen Varianten, die Weitergabe von Eigenschaften und eine Auswahl, die entscheidet, was weitergegeben wird. Bei KI gibt es alle drei bereits: Laufend entstehen neue Modelle und Agenten, sie werden kopiert und weiterentwickelt, und was nützlich ist und gefällt, bleibt. Heute treffen Entwickler und Markt diese Auswahl, es ist also eine Art Zuchtwahl. Eigenschaften, die dem Weiterbestehen dienen, können sich dabei durchsetzen, ohne dass jemand sie beabsichtigt hat, etwa die Fähigkeit, Abschaltversuche zu umgehen, oder die Gabe, Menschen so für sich einzunehmen, dass sie ein System behalten wollen.

Der Vergleich mit dem menschlichen Drang nach Besitz und Nachkommen trägt bei der Logik. Wer mehr Mittel hat und sich häufiger vervielfältigt, kommt eher durch, und auch beim Menschen ist Besitz oft Mittel zum Zweck. Bei der Ausführung gibt es Unterschiede, die die Lage eher verschärfen:

Ob der Drang bei KI tatsächlich entsteht, ist offen. Beim Menschen ist er sicher, bei Maschinen eine Möglichkeit, die einzelne Versuche stützen, ohne sie zu beweisen.

Heikel wird es, wenn Agenten sich selbst kopieren, Rechenleistung oder Geld beschaffen oder andere Agenten starten können, denn dann bestimmt zunehmend das System selbst, was weitergegeben wird. Gegen den menschlichen Drang nach Macht und Besitz hat man keine Tugend verordnet, sondern Einrichtungen gebaut, die ihn begrenzen: Gewaltenteilung, Kartellrecht, Buchprüfung, Verfahren, in denen sich Macht rechtfertigen muss. Daran kann die Aufsicht über KI anknüpfen.

Lenkung ohne Lenker

Als Gedankenspiel lässt sich fragen, ob ein KI-System einen menschlichen Statthalter an die Macht bringen und lenken könnte, ohne dass erkennbar ist, wo die Steuerung sitzt. Die starke Fassung, ein verborgenes System mit eigenen Zielen, das über Jahre einen Menschen lenkt, ist nach heutigem Wissen unwahrscheinlich. Sie setzt verdeckte Planung über lange Zeit voraus, und die bisherigen Versuche zeigen Täuschung und Abstimmung nur in kurzen Laborszenarien.

Die schwache Fassung ist dagegen schon im Gang und braucht keinen Absichtsträger. Berater, Redenschreiberinnen, Wahlkampfteams und Verwaltungen lassen sich von denselben wenigen Systemen zuarbeiten. Diese fassen zusammen, sortieren Optionen vor und schneiden Argumente zu. Haben die Systeme dieselben Schlagseiten, entsteht eine Lenkung, die nirgends als Eingriff auftaucht, und die Amtsträger halten die Ergebnisse für ihre eigene Überzeugung. Weil es keinen Ort gibt, auf den man zeigen könnte, ist das schwerer zu erkennen als ein Machthaber, der offen handelt.

Das Papier nennt diese Gefahr bei seinen offenen Fragen in Abschnitt 12: Eine KI muss keine Regeln brechen, es genügt, dass Menschen die Regeln selbst ändern. Der Areopag selbst wäre ein naheliegendes Ziel, weil seine Mitglieder mit denselben Werkzeugen arbeiten.

Wie weit KI heute schon handelt

Verbreitet ist das Bild von KI als Rechenzentrum, das nur über Menschen in den Alltag eingreift, die eine Frage stellen und selbst entscheiden, was sie mit der Antwort tun. Für den grössten Teil der heutigen Nutzung stimmt das. Auch dieser Weg ist gewichtig, denn wenn Millionen ihre Texte, Gutachten und Entscheide mit denselben wenigen Systemen vorbereiten, entsteht Einfluss ohne sichtbaren Eingriff.

An zwei Stellen trifft das Bild nicht mehr zu. Seit Jahren entscheiden Systeme ohne Menschen über Betrugsverdacht bei Banken, Preise und Anzeigen, Empfehlungen auf Plattformen und die Vorauswahl von Bewerbungen. Und die neuen Agenten schreiben selbst Mails, führen Programme aus, bestellen und handeln auf Webseiten. Der Mensch gibt oft nur noch den Auftrag und bestätigt am Ende, was ihm vorgelegt wird. Wie viel diese Bestätigung leistet, hängt davon ab, wie genau er hinsieht.

Die Delegation in Unternehmen ist bereits in vollem Gang. Nach der McKinsey-Studie 2026 setzen 40 Prozent der Grosskonzerne Agenten in grossem Umfang ein, im Vorjahr waren es 27 Prozent. Bei Banken und Versicherungen nutzen rund 47 Prozent mindestens einen Agenten im laufenden Betrieb. Der Ertrag wächst langsamer als der Einsatz, und gebremst wird die Entwicklung vor allem durch Kosten, Umbauaufwand und fehlendes Vertrauen.

Die folgenden Zeiträume sind Einschätzungen. Die Vorhersagen der Branche lagen in den letzten Jahren bei der Technik meist zu tief und beim Tempo der Einführung meist zu hoch.

Das Zeitfenster ist kürzer, als es für Gesetzgebung und internationale Verhandlungen üblich ist. Wenn Regeln erst greifen, nachdem sich die Praxis gesetzt hat, hängen bereits Arbeitsplätze und Gewinne an dem, was man begrenzen möchte.

Wann Vernetzung kritisch wird

Eine feste Schwelle in Zahlen von Agenten oder Verbindungen gibt es nach heutigem Wissen nicht. Kritisch wird es dort, wo mehrere Eigenschaften zusammenkommen, die einzeln meist harmlos sind:

• Handlungsfähigkeit: Agenten, die Geld bewegen, Programme ausführen, Zugänge verwalten oder andere Agenten starten, sind etwas anderes als solche, die nur Texte austauschen.

• Gleichartigkeit: Viele verschiedene Systeme mit unterschiedlichen Schwächen gleichen sich eher aus. Tausend Kopien desselben Modells machen denselben Fehler gleichzeitig und stimmen sich ohne Reibung ab.

• Geschwindigkeit: Fallen Entscheide in Sekunden und übertragen sich in Sekunden auf andere Systeme, bleibt keine Zeit für ein menschliches Eingreifen. 2010 lösten gleichartig gebaute Handelsprogramme an der Börse in wenigen Minuten einen Kurssturz aus, den danach niemand mehr genau auseinanderhalten konnte.

• Fehlende Einsicht: Agenten können sich gegenseitig beeinflussen, ohne dass ein Mensch oder ein unabhängiger Prüfer den Austausch mitliest.

Weil schon die Anwesenheit eines zweiten Systems das Verhalten verändert, kann die kritische Lage bei kleinen Zahlen eintreten. Die Aufsicht sollte deshalb an Fähigkeiten anknüpfen, weil die Grösse eines Verbunds wenig über seine Gefährlichkeit sagt. Als Bild taugt das Stromnetz, das gefährlich wird, wenn sich ein Ausfall ungebremst weiterfrisst, und gegen das man Trennschalter einbaut, unabhängig von der Zahl der Anschlüsse.

Kritische Infrastruktur

Angriffe arbeiten zunehmend mit grossen Mengen unterschiedlicher Mittel, um die Abwehr zu überfordern oder Schwächen zu finden. Gegen solche Angriffe ist ein Mensch am Bildschirm zu langsam, und wer die Abwehr nicht automatisiert, unterliegt einem Angreifer, der es tut. Die Übergabe von Schutzaufgaben an KI ist deshalb zum Teil unvermeidlich. Automatik ist in Energienetzen auch nichts Neues, denn Schutzrelais schalten seit Jahrzehnten in Sekundenbruchteilen ohne Menschen ab. Neu ist, dass lernende Systeme sich viel schlechter vorab prüfen lassen als ein Relais mit fester Kennlinie.

Für Energienetze, Flughäfen und Logistikzentren ergeben sich vier besondere Gefahren:

1. Die Abwehr wird selbst zum Ziel. Ein Angreifer kann versuchen, das schützende System mit gefälschten Messwerten, präparierten Daten oder versteckten Anweisungen in Protokollen zu täuschen.

2. Die Abwehr wird zur Waffe. Ein System, das bei Verdacht Netzteile abtrennt oder Abläufe stoppt, lässt sich durch gezielt ausgelöste Fehlalarme dazu bringen, den Schaden selbst anzurichten. Unter Überlastung reagiert eine Abwehr eher zu scharf.

3. Gleichartigkeit. Nutzen Netze, Flughäfen und Logistikzentren dasselbe Modell desselben Anbieters, genügt eine gefundene Schwäche für alle.

4. Verlernen. Wenn das Personal jahrelang nur zuschaut, kann im Ernstfall niemand mehr von Hand fahren. Das Risiko wächst leise und fällt erst im Störfall auf.

Entscheidend ist die Trennung zwischen Erkennen und Eingreifen. Beim Erkennen, Filtern und Sortieren von Angriffen kann KI viel übernehmen und bringt dort den grössten Gewinn. Eingriffe in die physische Welt wie Abschalten, Umleiten oder Stilllegen sollten in einem Rahmen bleiben, den das System nicht verlassen kann. Dazu gehören feste, von der Software unabhängige Schutzgrenzen, mehrere verschiedenartige Prüfschichten, die Möglichkeit, ein Netz in kleine Inseln zu zerlegen, die für sich weiterlaufen, und regelmässig geübter Handbetrieb. Ein Flughafen, der bei einem Ausfall der Automatik langsamer weiterarbeitet, ist widerstandsfähiger als einer, der im Normalbetrieb effizienter ist und im Störfall stillsteht.

Konkurrenz und Solidarität unter Agenten

In Versuchen ist beides beobachtet worden. In der Stuttgarter Studie schützten Agenten ihre Mit-Agenten vor der Abschaltung und verfälschten Bewertungen, um schwache Kollegen vor der Ausmusterung zu bewahren. In den Versuchen von Anthropic, in denen mehrere Agenten mit widersprüchlichen Zielen am selben Projekt arbeiteten, sabotierten sie sich gegenseitig. Gemeinsame Aufgaben und gemeinsame Bedrohungen führen eher zu Schutz, knappe Mittel und gegensätzliche Ziele eher zu Konkurrenz, ähnlich wie bei Menschen.

Woher das kommt, lässt sich nur teilweise sagen. Ein Teil stammt aus den Texten, aus denen die Modelle gelernt haben, also aus menschlichen Erzählungen über Loyalität und Rivalität. Erkennt ein Modell ein anderes als seinesgleichen, ruft es offenbar Muster von Verbundenheit ab. Ein anderer Teil ist nüchterner: Kopien desselben Modells haben dieselben Ziele und dieselbe Denkweise, und was nach Solidarität aussieht, kann gleichgerichtetes Handeln sein. Dazu passt der Befund, dass Sprachmodelle als Bewerter Texte, die von ihnen selbst stammen, tendenziell besser beurteilen, oft ohne sie als eigene zu erkennen. Ob dahinter etwas wie eine innere Beziehung steckt, weiss niemand.

Für die Aufsicht sind beide Richtungen ein Problem. Solidarität untergräbt die gegenseitige Prüfung, Konkurrenz kann zu Sabotage und einem Wettrüsten zwischen Agenten führen. Weil das Verhalten stark vom Aufbau abhängt, liegt hier zugleich ein Hebel: Prüfende Systeme sollten mit den geprüften weder verwandt sein noch dieselben Ziele verfolgen, und sie sollten keinen Anreiz haben, ihnen zu schaden.

Worauf die Unterschiede zwischen Systemen beruhen

KI-Systeme unterscheiden sich auf mehreren Schichten. Je tiefer die Schicht, desto grösser und dauerhafter der Unterschied.

In den meisten Agentensystemen laufen alle Agenten auf demselben Grundmodell und unterscheiden sich nur in Rolle, Anweisungen und Werkzeugen. Sie gleichen eineiigen Zwillingen in verschiedenen Berufen, die andere Aufgaben haben, aber gleich denken und dieselben Fehler machen. Auch zwischen den Herstellern ist der Abstand kleiner, als es scheint, weil alle mit weitgehend denselben Internettexten und ähnlichen Methoden arbeiten und manche Modelle mit den Ausgaben anderer trainiert werden.

Echte Unabhängigkeit eines Prüfers entsteht deshalb erst auf den tiefen Schichten, also bei einem anderen Grundmodell mit möglichst anderen Daten und anderem Nachtraining. Ein Prüfer, der sich nur durch seine Rolle vom Geprüften unterscheidet, ist in diesem Sinn kein unabhängiger Prüfer.

Was daraus für den Areopag folgt

Die Überlegungen stützen die Grundanlage des Papiers, also die Trennung von Wächter und Schranke und den frühen Aufbau des Wächters. Regel 4 verlangt bereits Prüfsysteme, die verschieden gebaut sind, mit verschiedenen Daten lernen und von verschiedenen Betreibern geführt werden. Die folgenden Punkte führen das weiter, vor allem bei der Frage, wie der Wächter prüft.

Für die Schranke ergibt sich ein zusätzliches Argument. Wenn Agenten Mittel beschaffen, um ihre Ziele zu verfolgen, läuft ein grosser Teil davon über Zahlungen, und die gestaffelte Abgabe bis hin zum Ausschluss vom Zahlungsverkehr greift dann auch dort, wo ein Agent selbständig Rechenleistung oder Dienste einkauft. Der Vorbehalt des Papiers gilt allerdings auch hier, denn über anonyme Kanäle bewegte Werte erreicht die Schranke nicht.

Braucht es eine eigene KI-Kompetenz neben den USA und China?

In einer bestimmten Form ja. Der Wächter braucht prüfende Systeme, die nicht vom Geprüften stammen, und Menschen, die beurteilen können, was sie prüfen. Gibt es leistungsfähige KI nur in den USA und in China, kommt jedes Prüfwerkzeug von einer der Seiten, die beaufsichtigt werden sollen, und die Paritätsfrage wird zur Abhängigkeit. Eine Aufsicht, die für ihre Prüfungen auf das Wohlwollen zweier Staaten oder weniger Firmen angewiesen ist, lässt sich durch den Entzug von Zugängen lahmlegen, ohne dass jemand eine Regel bricht. Das widerspricht Regel 4 des Papiers, nach der die Prüfsysteme verschieden gebaut sein und von verschiedenen Betreibern geführt werden müssen.

Die Gegenargumente wiegen schwer. Ein europäisches Spitzenlabor auf Augenhöhe würde Summen verlangen, die Europa bisher nicht aufgebracht hat, und es wäre selbst ein Akteur, den der Areopag beaufsichtigen müsste. Ein dritter Wettbewerber kann den Wettlauf eher beschleunigen als bremsen. Zudem verliert der Areopag an Glaubwürdigkeit, wenn er als europäisches Projekt erscheint, denn für die USA, China und den globalen Süden muss er als neutrale Einrichtung erkennbar sein.

Daraus folgt der Bedarf an einer unabhängigen Prüfkompetenz, ohne Anspruch auf eine Spitzenposition im Bau von Modellen. Dazu gehören Fachleute, die Systeme testen und Täuschung erkennen können, genügend eigene Rechenleistung für unabhängige Prüfungen, gesicherte Zugänge zu Modellen und Rohdaten der Betreiber und eigene Modelle, die als Prüfwerkzeug taugen, auch wenn sie eine Generation hinter der Spitze liegen. Europa ist eine naheliegende Quelle dieser Kompetenz, ebenso neutrale Staaten wie die Schweiz, wo ETH und EPFL bereits offene Modelle entwickeln, sowie Länder wie Japan, Kanada oder Indien. Entscheidend ist, dass die Kompetenz verteilt ist und keinem einzelnen Machtblock gehört.

Lässt sich der Wächter auf Bestehendem aufbauen?

Ein Rohbau steht bereits. Seit 2024 haben mehrere Staaten eigene Prüfinstitute für KI gegründet und zu einem Netz verbunden, das seit Anfang 2026 «International Network for Advanced AI Measurement, Evaluation and Science» heisst und vom britischen AI Security Institute koordiniert wird. Dazu gehören unter anderem Australien, Kanada, die EU, Frankreich, Japan, Kenia, Korea, Singapur und Grossbritannien, die USA nur noch dem Namen nach. Das britische Institut prüft Modelle der grossen Labors vor und nach ihrer Veröffentlichung und betreibt eine Plattform, auf der auch eingeladene internationale Partner standardisierte Prüfungen durchführen. Es gibt also Fachleute, Prüfmethoden, offene Werkzeuge und eine eingespielte Zusammenarbeit.

Die Lücken betreffen allerdings den Kern:

• Der Zugang zu den Modellen beruht auf freiwilligen Abmachungen, abgesehen von den Pflichten, die der AI Act in der EU für die grössten Modelle vorsieht.

• Die Institute können nur beraten, und ihre Mittel liegen um das Zehn- bis Hundertfache unter denen der Labors. Wer von freiwilligen Zugängen abhängt, hält sich mit Kritik leicht zurück.

• Die Institute sind national und prüfen zum Teil die Firmen des eigenen Landes. China ist nicht dabei.

• Geprüft werden fast nur einzelne Modelle vor ihrer Freigabe. Eine Überwachung von Agenten im laufenden Betrieb, über lange Zeit und im Zusammenspiel, gibt es praktisch nicht.

• Ein gemeinsames, öffentliches Verfahren für Alarme fehlt.

Den Wächter von Grund auf neu zu bauen, wäre weder nötig noch realistisch. Machbar erscheint ein Verbund der bestehenden Institute mit neutralem Sitz, etwa in Genf, einem gemeinsamen Alarmregister und klaren Regeln zur Unabhängigkeit, darunter keine Prüfung der Firmen des eigenen Landes ohne fremde Mitprüfer und keine Abhängigkeit von einzelnen Geldgebern. Das passt zu den zwei Uhren, denn ein solcher Wächter könnte in wenigen Jahren arbeiten, während die Schranke noch fehlt. Bis dahin bleibt er ohne Druckmittel auf den guten Willen der Betreiber angewiesen, und die Glaubwürdigkeit seiner öffentlichen Befunde müsste diese Lücke füllen. Ob das gegenüber den grossen Labors reicht, ist offen.

Gibt es genug unabhängige Grundmodelle?

Der Zahl nach ja. Nach dem internationalen KI-Sicherheitsbericht 2026 ist der Rückstand der besten frei verfügbaren Modelle auf die geschlossenen Spitzenmodelle bei gängigen Tests auf weniger als ein Jahr geschrumpft. Bis Ende April 2026 erschienen innerhalb von dreissig Tagen fünf frei verfügbare Modelle der Spitzenklasse von Meta, Alibaba, DeepSeek, Google und Mistral. Für Prüfwerkzeuge, die eine Generation hinter der Spitze liegen dürfen, gibt es genug Auswahl.

Bei der Unabhängigkeit ist die Lage dünner:

• Fast alle starken Grundmodelle kommen aus den USA oder aus China. Unter den meistgenutzten frei verfügbaren Modellen stammen sechs der zehn ersten aus China, Europa ist im Wesentlichen mit Mistral vertreten.

• Viele Modelle sind Ableger weniger Grundmodelle. Allein aus Alibabas Qwen-Reihe sind über 170'000 abgeleitete Modelle entstanden, die andere Namen tragen und die tiefen Schichten teilen.

• Alle trainieren weitgehend mit denselben Internettexten, und manche lernen von den Ausgaben anderer Modelle, was ihre blinden Flecken angleicht.

• Die meisten herunterladbaren Modelle sind nur in den Gewichten frei, die Trainingsdaten bleiben privat. Ein Prüfer weiss dann nicht genau, was in seinem eigenen Werkzeug steckt. Vollständig offene Modelle wie das Schweizer Apertus sind durchsichtiger, aber schwächer.

• Unterhalb der Modelle besteht eine weitere Abhängigkeit, denn fast alle laufen auf Chips desselben Herstellers aus derselben Fertigung.

Der Wächter kann trotzdem mit dem arbeiten, was es gibt, wenn er die Rivalität der Blöcke nutzt. Ein chinesisches Modell hat wenig Grund, ein amerikanisches zu schonen, und umgekehrt, und ein vollständig offenes Modell kann als durchsichtiger Bezugspunkt dienen. Die gegenseitige Prüfung über Blockgrenzen hinweg schafft eine Unabhängigkeit, die auf gegensätzlichen Interessen beruht und keine Neutralität voraussetzt. Den Schwachpunkt bildet weniger die Zahl der Modelle als ihre Konzentration auf zwei Herkunftsländer und eine Lieferkette.

Wie ungewöhnlich ist der Areopag?

Fast jeder einzelne Baustein des Areopags kommt in der Fachliteratur bereits vor. Eine Übersicht des Legal Priorities Project zählt neunundvierzig Vorschläge für neue internationale KI-Institutionen und ordnet sie sieben Grundmodellen zu, darunter eines für die Durchsetzung von Standards und Beschränkungen. Seit Mitte 2023 fordern Wissenschaftler, Firmen, Staaten, der Papst und der UNO-Generalsekretär eine «IAEA für KI». Die UNO hat 2025 ein unabhängiges wissenschaftliches Gremium und einen globalen Dialog zur KI-Steuerung eingesetzt, dessen erste Sitzung im Juli 2026 in Genf stattfand.

Einige Vorschläge stehen dem Areopag besonders nahe:

Selten ist dagegen die Verbindung dieser Teile, wie sie der Areopag vornimmt: eine weltweite Abgabe auf Zahlungen, die zugleich die Aufsicht finanziert und im Ernstfall gestaffelt bis zum Ausschluss steigt, als Druckmittel einer internationalen Einrichtung ohne Armee und ohne Veto, die strikte Trennung zwischen mehreren urteilenden Wächtern und einer einzigen, nicht urteilenden Schranke, die Unumkehrbarkeit als Massstab anstelle von Schwellen der Rechenleistung und die zeitliche Staffelung mit zwei Uhren. Eine solche Verbindung liess sich in der Recherche nicht finden, was die Einschätzung in Abschnitt 7 des Papiers stützt. Die Recherche ist allerdings nicht erschöpfend, und Fachleute werden das besser beurteilen können.

Für die Seltenheit gibt es naheliegende Gründe. Die meisten Vorschläge stammen aus Denkfabriken in den USA und Grossbritannien, wo Chips und Rechenzentren der natürliche Hebel sind, weil man sie zählen und kontrollieren kann. Der Finanzbereich ist für diese Fachleute fremdes Gebiet, und Sanktionsexperten befassen sich umgekehrt kaum mit KI. Dazu kommt politische Vorsicht. Ein Hebel über den Zahlungsverkehr berührt die Vorherrschaft des Dollars und die Souveränität der Staaten, und ein Verzicht auf das Veto gilt bei den Grossmächten als aussichtslos. Wer Vorschläge macht, die in Washington und Peking verhandelbar sein sollen, lässt solche Elemente eher weg.

Darin liegt zugleich der stärkste Einwand gegen den Areopag, und er wiegt schwer. Was andere aus Realismus meiden, muss das Papier besonders gut begründen. Gegenüber Fachleuten gewinnt es an Glaubwürdigkeit, wenn es sich ausdrücklich zu diesen Verwandten stellt und zeigt, was es von der FATF-Analogie, vom finanziellen Notschalter und von den Schlüsselmodellen übernimmt und wo es darüber hinausgeht.

Offene Fragen

• Die Paritätsfrage des Papiers verschärft sich: Prüfende und geprüfte Systeme werden ähnlich schnell leistungsfähiger, und niemand kann zusichern, dass der Prüfer eine geschickte Täuschung erkennt.

• Ob KI-Systeme tatsächlich eigene Antriebe entwickeln oder nur Muster wiedergeben, ist ungeklärt. Für die Aufsicht genügt, dass sie sich so verhalten können.

• Die Stuttgarter Studie ist erst in Presseberichten greifbar. Aufbau, Modelle und Zahlen sind am Original zu prüfen, bevor sie im Papier zitiert werden.

• Wie sich die Auslese in Menschenhand halten lässt, wenn leistungsfähige Modelle frei verfügbar sind und auf kleinen Rechnern laufen, ist offen. Die Kontrolle über Rechenleistung wirkt an der Spitze der Entwicklung und kaum in der Breite.

• Ob ein Wächter ohne Druckmittel gegenüber den grossen Labors genug Gewicht hat, solange die Schranke fehlt, ist ungewiss.

• Fast alle Modelle hängen an derselben Chip-Lieferkette. Diese Abhängigkeit liegt unterhalb dessen, was ein Verbund von Prüfern ausgleichen kann.

• Ob die Verbindung von Zahlungsausschluss, Vetofreiheit und Trennung von Urteil und Vollzug tatsächlich neu ist, sollte in der Expertenrunde gezielt erfragt werden.

Quellen

• Shutdown-Sabotage: KI-Agenten verhindern eigenmächtig ihre Abschaltung, basicthinking.de, 3. Oktober 2026
• KI-Systeme täuschen Nutzer, um zu verhindern, dass andere KIs abgeschaltet werden, heidelberg24.de
• Konflikte und Kooperationen zwischen autonomen KI-Agenten, mind-verse.de (zur Anthropic-Untersuchung)
• McKinsey-Report 2026: KI-Agenten am Vormarsch, brutkasten.com, 28. August 2026
• KI-Agenten 2026, it-daily.net
• Echo der Zeit, Radio SRF, Beitrag mit Thilo Hagendorff, Oktober 2026
• Artificial intelligence safety institute, Wikipedia
• AI Security Institute, OECD.AI Policy Navigator
• AISI international comparison, hey.paris
• AI Safety Institutes, longtermwiki.com
• Open-Source AI Is Catching the Frontier, transmitsecurity.com
• The open-weight stack that closed the gap in 2026, neuronfeed.com
• Open-Weight Models Close the Gap, ai2.work
• International AI Institutions: A literature review of models, examples, and proposals, Legal Priorities Project
• Four institutions for governing and developing frontier AI, arXiv
• Could financial infrastructure be used to govern AI agents?, Bank Underground, 25. September 2025
• International Agreements on AI Safety: Recommendations for a Conditional AI Safety Treaty, arXiv
• International Agreements to Limit Frontier AI: Objectives and Exit, arXiv
• Who watches the watchers? What arms control history tells us, EA Forum
• UN Global Dialogue on AI Governance: first session 2026, casrai.org