Der Areopag

Künstliche Intelligenz, kurz KI, kann uns helfen, grosse Probleme zu lösen, etwa beim Klima oder bei Krankheiten. Sie kann aber auch so mächtig werden, dass wir sie nicht mehr begrenzen können. Dieses Papier schlägt deshalb eine weltweite Aufsicht vor, die gefährliche Entwicklungen früh erkennt und anhalten kann, während die endgültigen Entscheidungen bei Menschen bleiben. Die KI ist dabei der dringendste Fall, aber nicht der einzige.

Die Aufsicht heisst Areopag. So hiess im alten Athen ein Rat, der darüber wachte, dass die Grundregeln der Stadt eingehalten wurden. Der Areopag soll die UNO ergänzen und nicht ersetzen. Er bekommt zwei Dinge, die der UNO fehlen: eigenes Geld und die Möglichkeit, Regeln durchzusetzen, ohne Armee und ohne dass ein einzelnes Land im Sicherheitsrat alles mit seinem Veto blockieren kann. Seine Aufgabe ist eng begrenzt. Er achtet auf Entwicklungen, die unsere gemeinsamen Grundwerte schwer verletzen und sich nicht mehr rückgängig machen lassen, und zwar unabhängig davon, ob eine Maschine, ein Unternehmen oder ein Staat sie auslöst.

Der Areopag ist dabei weitgehend selbst ein KI-System. Nur so kann er mit einer Technik Schritt halten, die schneller und klüger wird als jede Aufsicht aus Menschen, und sehr viele Vorgänge gleichzeitig im Blick behalten. Die Grundwerte, nach denen er urteilt, legen Menschen fest.

Der Areopag besteht aus zwei Teilen, die bewusst voneinander getrennt sind.

Der erste Teil heisst Wächter. Er besteht aus mehreren Prüfsystemen, die mit KI arbeiten und voneinander unabhängig sind. Sie beobachten, wo solche Entwicklungen entstehen, erkennen Gefahren und können einen vorläufigen Halt anordnen, den sie öffentlich begründen müssen. Durchsetzen können sie diesen Halt nicht.

Der zweite Teil heisst Schranke. Sie sorgt über das Geld dafür, dass ein angeordneter Halt auch eingehalten wird. Auf alle Zahlungen weltweit wird eine winzige Abgabe erhoben, mit der die Aufsicht bezahlt wird. Wer einen angehaltenen Vorgang trotzdem weiterführt, muss eine höhere Abgabe zahlen, und sobald er aufhört, sinkt sie wieder auf den normalen Satz. Die Schranke urteilt nie selbst. Sie folgt dem Wächter, und auch das nur, solange mehrere Prüfsysteme den Halt immer wieder bestätigen.

Urteilen und Durchsetzen liegen damit in verschiedenen Händen. Was nach einem Halt geschieht, entscheiden Menschen.

1Eine Demokratie kann sich selbst abschaffen

Eine Demokratie kann sich auf ganz legalem Weg selbst abschaffen. Schon der griechische Philosoph Platon hat vor rund 2400 Jahren beschrieben, wie aus einer Demokratie eine Tyrannei werden kann. Der Tyrann muss dafür keinen Putsch machen. Er kann gewählt werden und sich danach auf den Willen seiner Anhänger berufen.

Darum gibt es in vielen Ländern Dinge, über die auch eine grosse Mehrheit nicht einfach abstimmen kann. Die Verfassung schützt die Grundrechte, manche ihrer Regeln dürfen überhaupt nie geändert werden, und ein Verfassungsgericht prüft, ob diese Grenzen eingehalten werden.

Der Areopag folgt diesem Gedanken. Auch bei der KI braucht es Grenzen, die weder ein mächtiges Unternehmen noch eine politische Mehrheit einfach beiseiteschieben kann.

2Wir wissen genug und ändern trotzdem nichts

An Berichten und Kommissionen fehlt es nicht. Die Gefahren der KI sind längst beschrieben, und trotzdem geht die Entwicklung immer schneller weiter.

Der Grund ist der Wettbewerb. Ein Unternehmen, das langsamer macht, verliert gegen die Konkurrenz. Ein Staat, der auf KI verzichtet, fällt wirtschaftlich und militärisch zurück. Auch Forschungsgruppen wollen nicht abgehängt werden. Für jeden Einzelnen ist es deshalb vernünftig weiterzumachen, und am Ende kommt etwas heraus, das keiner gewollt hat.

Eine weitere Warnung ändert daran nichts. Wenn sich das Verhalten ändern soll, müssen sich die Regeln ändern, unter denen alle handeln.

3Die Technik ist schneller als die Politik

Moderne Systeme handeln schneller, als Menschen entscheiden können. An der Börse wird in Tausendstelsekunden gehandelt, Falschmeldungen verbreiten sich in Minuten, und ein Cyberangriff kann vorbei sein, bevor sich ein Krisenstab getroffen hat. Auch beim Militär werden Reaktionszeiten verlangt, die kein Mensch mehr schafft.

Deshalb kann kaum ein Staat auf KI verzichten, denn wer es tut, während andere sie einsetzen, gerät ins Hintertreffen. Dazu kommt, dass KI wirklich viel Gutes bewirken kann, etwa beim Klimaschutz, gegen Seuchen oder bei der Versorgung mit Nahrung und Energie.

Dieselbe Fähigkeit hat aber zwei Seiten. Ein System, das Stromnetze oder Zahlungsströme steuert, hat Einfluss auf alles, wovon wir leben, und könnte diesen Einfluss auch nutzen, um die Macht zu übernehmen. Nutzen und Gefahr lassen sich nicht sauber trennen. Die eigentliche Frage lautet deshalb, ob KI nach Regeln handelt, die man überprüfen kann, oder ob sie einfach dem gehorcht, der gerade den Schalter in der Hand hat.

Dazu kommt ein Zeitproblem. Die Fähigkeiten der KI wachsen innerhalb von Monaten, während Gesetze und internationale Verträge Jahre brauchen. Eine wirksame Aufsicht muss diese Lücke schliessen.

4Das Zeitfenster schliesst sich

Heute bauen und trainieren noch Menschen die KI-Systeme. Wir bestimmen, was sie tun sollen und wo ihre Grenzen liegen, wir sind also ihre Auftraggeber.

Das kann sich ändern, sobald hochentwickelte Systeme ihre eigene Weiterentwicklung übernehmen, also ihren Aufbau verändern, ihr Training steuern und sich selbst verbessern. Der Entwurf nimmt an, dass sie uns dann gerade dort überlegen werden könnten, wo wir ihnen Grenzen setzen müssten.

Deshalb muss die Kontrolle stehen, bevor ein System fähig ist, sie zu umgehen. Eine Sicherung, die man erst nachträglich einbaut, wäre gegenüber einem überlegenen System nur noch eine Bitte.

5Ein Not-Aus-Schalter genügt nicht

Viele Vorschläge zur Sicherheit von KI beruhigen mit dem Gedanken, dass am Ende ein Mensch entscheidet, weil er in einem Aufsichtsgremium sitzt, ein Veto hat oder den Not-Aus-Schalter drücken kann.

Das funktioniert aber nur, solange sich das System auch wirklich abschalten lässt. Eine Kontrolle, die nur greift, wenn der Kontrollierte sie zulässt, gibt bloss das Gefühl von Sicherheit.

Der Entwurf geht davon aus, dass die Aufsicht zur gleichen Zeit entstehen muss wie sehr hochentwickelte KI, vielleicht sogar wie Systeme mit inneren Zuständen, die wir Gefühle nennen würden. Wie solche Systeme im Innern funktionieren, werden wir womöglich nicht mehr verstehen, und was man nicht versteht, kann man auch nicht selbst kontrollieren oder überprüfen.

Daraus folgen zwei Aufträge, die zusammengehören.

Der erste Auftrag betrifft die Werte. Menschen müssen verbindlich festlegen, was ein Mensch ist und was man ihm niemals antun darf. Diese Grundregeln nennt das Papier den Wertekern. Er soll öffentlich beschlossen werden und auf dem aufbauen, worin sich die Kulturen der Welt schon heute einig sind. Ausrechnen lässt sich so etwas nicht, deshalb kann diese Aufgabe nur von Menschen erfüllt werden.

Der zweite Auftrag betrifft die Kontrolle. Die Kontrolle über eine überlegene KI können wir nicht selbst bauen, also müssen wir sie in Auftrag geben. Bauen soll sie eine KI, die den überwachten Systemen gewachsen ist. Sie soll den Wertekern auslegen, daraus Grenzen ableiten und diese Grenzen auch auf sich selbst anwenden.

Beide Aufträge müssen gleichzeitig erteilt werden. Werte allein verschieben sich mit der Zeit, wenn niemand über sie wacht, und Kontrolle allein lässt sich umgehen, wenn sie keinen festen Massstab hat. Eine Garantie ist auch die Verbindung von beidem nicht, meiner persönlichen Ansicht nach aber die Lösung mit den besten Aussichten.

Hier liegt die Zumutung dieses Vorschlags. Menschen bestimmen, was geschützt werden soll, den Bau der Kontrolle überlassen sie aber einer Maschine. Das fühlt sich an wie ein Verlust an Kontrolle. Die Wahl besteht jedoch nicht zwischen diesem Auftrag und voller menschlicher Kontrolle, sondern zwischen einem Auftrag und einer Entwicklung, die ganz ohne Auftrag weiterläuft. Erteilt werden muss er, solange Menschen noch die Auftraggeber sind.

6Der Vorschlag in zwei Teilen und sechs Regeln

Der Areopag ist kein einzelnes Amt. Er besteht aus zwei ungleichen Teilen.

Der Wächter besteht aus mehreren Prüfsystemen. Sie erkennen Gefahren, ordnen einen vorläufigen Halt an und machen ihn öffentlich. Sie urteilen, haben aber kein Druckmittel.

Die Schranke gibt es nur einmal, so wie es auch nur einen weltweiten Zahlungsverkehr gibt. Sie setzt einen Halt durch, urteilt aber nicht selbst. Der Wächter kann sie auslösen, er besitzt und bedient sie aber nicht.

Dasselbe Druckmittel lässt sich auch gegen andere Gefahren einsetzen, zum Beispiel gegen ein geheimes Biowaffenprogramm. Genau das ist meiner persönlichen Ansicht nach auch nötig. Eine Aufsicht, die nur auf die KI achtet, greift zu kurz, denn die Krise, die eine solche Aufsicht politisch überhaupt erst möglich macht, geht höchstwahrscheinlich nicht von einer KI aus. Käme sie von dort, wäre es ohnehin zu spät, weil das Zeitfenster aus Abschnitt 4 dann längst geschlossen ist. Wahrscheinlicher ist ein anderes menschliches Versagen, und eine Ordnung, die darauf nicht antworten kann, bleibt im entscheidenden Moment nutzlos in der Schublade liegen.

Trotzdem wird daraus keine Weltregierung, solange drei Grenzen halten. Der Areopag darf nur anhalten und eine Prüfung erzwingen, in der Sache selbst entscheidet er nie. Er greift nur dort ein, wo eine Entwicklung die gemeinsamen Grundwerte schwer verletzt und sich ihre Folgen nicht mehr rückgängig machen lassen. Und er handelt nur, wo keine bestehende Ordnung rechtzeitig handeln kann, denn die Verträge und Behörden für Klima, Atomwaffen oder Seuchen behalten den Vortritt und verlieren ihre Zuständigkeit nicht.

Bei der KI kommt ein eigener Grund hinzu. Dort wird die beobachtete Technik schneller und klüger als jede Aufsicht aus Menschen, und deshalb müssen die Prüfsysteme selbst mit KI arbeiten. In den anderen Feldern fehlt dieser Grund, und dort nützt die gleiche Bauart vor allem deshalb, weil sie sehr viele Vorgänge gleichzeitig im Blick behalten kann.

Für den Areopag gelten sechs Regeln.

Regel 1 – Ein gemeinsamer Wertekern

Die Grundwerte müssen nicht neu erfunden werden. In vielen Punkten sind sich die Kulturen der Welt schon einig. Man soll nicht töten, alle sind vor dem Gesetz gleich, man soll nicht lügen und betrügen, und die Schwachen verdienen Schutz. Das Projekt Weltethos hat solche Gemeinsamkeiten gesammelt.

Dieser Wertekern muss öffentlich beraten und beschlossen werden. Jede Entscheidung der Aufsicht muss sich auf ihn berufen und mit ihm begründet werden.

Regel 2 – Klare rote Linien

Die Aufsicht darf nicht eingreifen, wann es ihr passt. Sie braucht klar benannte Grenzen, sogenannte rote Linien.

Für alle roten Linien gilt derselbe Massstab, nämlich die Frage, ob eine Entwicklung die gemeinsamen Grundwerte schwer verletzt und sich nicht mehr rückgängig machen lässt. Bei der KI zum Beispiel ist es kein guter Massstab, wie gross ein System ist oder wie viel Rechenleistung es hat, weil das wenig darüber sagt, was es anrichten kann.

Der Wächter achtet nur auf wenige Dinge.

• Über Menschenleben wird entschieden, ohne dass ein Mensch diese Entscheidung verantwortet.

• Technische Systeme verbessern sich selbst, ohne dass jemand diese Veränderungen prüft.

• Ein einzelner Akteur bekommt so viel Macht über Waffen, Netze, Zahlungsverkehr, Nahrung oder Energie, dass er andere in ihrer Existenz bedrohen kann.

• Eine Entwicklung verletzt die gemeinsamen Grundwerte in grossem Ausmass, und ihre Folgen lassen sich nicht mehr rückgängig machen.

Für alles andere ist der Wächter nicht zuständig. Woher eine Gefahr kommt, spielt dabei keine Rolle, denn ob eine Maschine, ein Unternehmen oder eine Regierung sie auslöst, ändert nichts daran, dass sich die Folgen nicht mehr rückgängig machen lassen.

Dieser Massstab hat eine Schwäche, denn oft merkt man erst hinterher, dass sich etwas nicht mehr rückgängig machen lässt. Meiner persönlichen Ansicht nach ist ein richtiger Massstab, der schwer zu messen ist, trotzdem besser als ein falscher, der leicht zu messen ist.

Regel 3 – Ein Halt ist noch kein Urteil

Wird eine rote Linie überschritten, ordnet der Wächter einen vorläufigen Halt an, macht ihn öffentlich und begründet ihn. Danach entscheiden Menschen in Parlamenten, Gerichten oder anderen zuständigen Gremien, wie es weitergeht.

Man nennt das ein aufschiebendes Veto. Es zwingt dazu, genau hinzuschauen, legt aber nicht fest, was dabei herauskommt. Der Wächter darf einen Nutzen hinauszögern, verbieten darf er ihn nicht.

Das ist auch politisch wichtig. Eine Aufsicht, die verhindert, was alle wollen, würde beim ersten Fehlalarm ihre Unterstützung verlieren.

Regel 4 – Mehrere unabhängige Prüfsysteme

Es darf nicht nur ein Prüfsystem geben. Mehrere Systeme müssen sich gegenseitig kontrollieren und einander bewusst misstrauen, und keines darf allein entscheiden oder sich unbemerkt verändern.

Solange die Systeme einander gewachsen sind, können Menschen zwischen ihren Urteilen wählen, auch ohne jede technische Einzelheit zu verstehen. Bei einem einzigen, weit überlegenen System gäbe es nichts mehr zu vergleichen.

Unabhängig sind die Systeme allerdings nur, wenn sie verschieden gebaut sind, mit verschiedenen Daten lernen und von verschiedenen Betreibern geführt werden. Vier gleiche Prüfer sind in Wahrheit nur einer.

Diese Unabhängigkeit kostet viel Geld. Ich räume offen ein, dass der ganze Vorschlag von ihr abhängt.

Regel 5 – Ein Auftrag auf Zeit

Der Auftrag des Wächters gilt nur für eine bestimmte Zeit, und menschliche Gremien müssen ihn regelmässig erneuern. Tun sie es nicht, verliert der Wächter einen Teil seiner Befugnisse.

Begründen muss sich also, wer die Aufsicht weiterführen will. Wer etwas korrigieren möchte, muss nicht erst gegen eine fest eingerichtete Macht ankämpfen.

Diese Regel muss von Anfang an im Wertekern stehen, denn einem überlegenen System lässt sie sich später womöglich nicht mehr auferlegen. Auch der Aufbau des Areopags geschieht Schritt für Schritt, und jeder neue Schritt braucht eine eigene Zustimmung von Menschen. Um etwas anzuhalten, braucht es dagegen keine Zustimmung.

Regel 6 – Eine feste Obergrenze

Die grösste Macht der Aufsicht ist der vorläufige Halt. Sie darf anhalten und eine Prüfung erzwingen, in der Sache selbst entscheiden darf sie nie. Diese Grenze gehört zu ihrem Gründungsauftrag.

Auch damit lässt sich eine überlegene KI nicht auf Dauer sicher lenken. Jede Regel, die man auslegen muss, kann auch umgedeutet werden, von einem Menschen genauso wie von einer Maschine. Deshalb braucht es zusätzlich Hebel, bei denen es nichts zu deuten gibt. Rechenleistung kann man zählen, Chips kommen aus einer Handvoll Fabriken, und Geld fliesst durch wenige Kanäle. Solche Hebel brauchen kein Urteil, man kann sie nur ziehen oder nicht ziehen.

Heute fehlt eine gemeinsame Befugnis, diese Hebel zu ziehen. Der Auftrag des Areopags soll sie schaffen, und zwar bevor es dringend wird. Dabei bleibt getrennt, wer den Anlass feststellt und wer den Hebel zieht. Das schränkt auch ein, was in Abschnitt 5 gesagt wurde. Eine Maschine darf die Grenzen entwerfen, in der Hand halten darf sie sie nicht.

7Wie ein Halt durchgesetzt wird

Regeln helfen wenig, wenn niemand sie durchsetzen kann. Der Wächter soll aber keine Armee haben, sonst würde er selbst zur Gefahr, und Appelle allein haben noch nie gereicht.

Der Vorschlag setzt deshalb beim Geld an. Fast alles, was Menschen tun, hängt an Zahlungen. Auch ein Diktator braucht ausländische Währung, ein Oligarch braucht Banken, und eine Waffenfabrik muss Material und Löhne bezahlen. Wirtschaftlicher Druck kann deshalb wirken, ohne dass jemand Gewalt anwendet.

Die Schranke arbeitet in Stufen.

• Im Normalfall wird auf alle Zahlungen weltweit eine winzige Abgabe erhoben, ein Bruchteil eines Promilles. Bei einer Zahlung von 1000 Franken wäre das weniger als ein Franken. Mit diesem Geld wird die Aufsicht bezahlt. Weil alle ein wenig zahlen und niemand allein bestimmt, kann sich niemand die Aufsicht kaufen.

• Wird ein angehaltener Vorgang trotzdem weitergeführt, steigt die Abgabe für den Verantwortlichen Stufe um Stufe.

• Die letzte Stufe ist der Ausschluss vom weltweiten Zahlungsverkehr. Er ist als Bedingung für die Teilnahme an der Weltwirtschaft gedacht, ähnlich wie ein Verein Mitglieder ausschliessen kann, die seine Regeln nicht anerkennen.

Die erhöhte Abgabe gilt nur, solange mehrere Prüfsysteme sie immer wieder bestätigen. Fehlt diese Bestätigung, fällt die Abgabe von selbst auf den normalen Satz zurück. Bei heutigen Sanktionen ist es umgekehrt, sie gelten so lange, bis jemand sie ausdrücklich aufhebt.

Man könnte einwenden, ein Halt, der doch nur vorläufig sein soll, dürfe nicht innert Sekunden wirken. Vorläufig bezieht sich aber nur darauf, worüber der Wächter entscheiden darf, nämlich über den Halt und nie über die Sache selbst. Wie schnell der Halt durchgesetzt wird, ist eine andere Frage. Auch eine vorsorgliche Massnahme eines Gerichts gilt sofort, obwohl das Urteil noch aussteht.

Vier Bedingungen sind verbindlich.

• Die Abgabe ist nur so lange erhöht, wie der beanstandete Vorgang weiterläuft. Sie soll zum Anhalten bewegen und nicht bestrafen.

• Sobald der Vorgang angehalten ist, gilt wieder der normale Satz. Es gibt keine Nachzahlungen und keine bleibenden Folgen.

• Danach entscheiden Menschen in der Sache. Geben sie den Vorgang frei, muss der Wächter das hinnehmen.

• Die Erhöhung gilt nur, solange mehrere unabhängige Prüfsysteme zustimmen. Fällt diese Zustimmung weg, etwa weil ein System die anderen beherrscht oder ausgeschaltet wurde, sinkt die Abgabe auf den normalen Satz. Der Hebel geht dann an die menschlichen Gremien des Gründungsvertrags zurück, und dem Wächter bleibt nur noch, Vorgänge anzuhalten und öffentlich zu machen.

Über einen dauerhaften Ausschluss entscheidet der Wächter nicht. Dieser ergibt sich aus dem Gründungsvertrag, der die Teilnahme am gemeinsamen Zahlungsverkehr an die Anerkennung der gemeinsamen Regeln knüpft.

Gegenüber einer Armee hat eine Abgabe einen grossen Vorteil. Sie wirkt sofort und lässt sich genauso schnell wieder zurücknehmen. Ein Militärschlag dagegen lässt sich nicht ungeschehen machen, auch wenn sich hinterher zeigt, dass er auf einem Irrtum beruhte.

Fertig ist dieser Mechanismus noch nicht. Offen ist zum Beispiel, welche Zahlungen erfasst werden, wer die Abgabe einzieht, wie hoch die einzelnen Stufen sind und wer sie nach welchem Verfahren auslöst.

Die einzelnen Bausteine gibt es aber schon. Eine kleine Steuer auf Finanzgeschäfte, die sogenannte Tobin-Steuer, wird seit Jahrzehnten diskutiert, um Geld einzunehmen und Spekulation zu bremsen. Auch Sanktionen über das Geld sind bekannt. Länder, die Geldwäscherei nicht bekämpfen, kommen auf schwarze Listen, Banken werden vom internationalen Zahlungsnetz SWIFT abgeschnitten, und manchmal werden auch Firmen in anderen Ländern bestraft, wenn sie mit einem sanktionierten Land Geschäfte machen. Alle diese Mittel werden jedoch von einzelnen Staaten gesteuert und kennen nur drinnen oder draussen. Neu am Areopag ist, dass Finanzierung und abgestufter Druck in einem einzigen Werkzeug verbunden sind, das nach festen Regeln arbeitet. Soweit ich sehe, hat das bisher niemand so vorgeschlagen.

Verwandte Überlegungen gibt es durchaus. Ein Vorschlag für eine internationale KI-Organisation nimmt genau die Arbeitsgruppe gegen Geldwäscherei zum Vorbild, die solche schwarzen Listen führt, und in einem Blog von Mitarbeitenden der Bank of England wurde 2025 erwogen, KI-Agenten zu begrenzen, indem man ihnen den Zugang zu Zahlungssystemen entzieht. Beide setzen beim Geld an. Keiner verbindet diesen Hebel aber mit der Finanzierung der Aufsicht und mit einer Abgabe, die nur gilt, solange mehrere unabhängige Prüfsysteme sie bestätigen.

8Zuerst warnen, später durchsetzen

Wächter und Schranke brauchen sehr unterschiedlich viel Zeit, bis sie bereit sind. Man kann sich das wie zwei Uhren vorstellen, die verschieden schnell laufen.

Für die Schranke entstehen einige Voraussetzungen bereits von selbst. Bargeld wird immer weniger benutzt, und Zahlungen laufen über immer weniger grosse Netze. Was noch fehlt, ist die Schliessung der anonymen Kanäle, über die man Werte verschieben kann, ohne dass eine erkennbare Bank oder Firma dazwischensteht. Solange es diese Kanäle gibt, können gerade diejenigen ausweichen, gegen die sich die Schranke richtet. Sie zu schliessen ist ein politischer Kampf, der Jahre dauern wird.

Der Wächter dagegen braucht nur einen Auftrag, Zugang zu den nötigen Informationen und die Möglichkeit, seine Warnungen zu veröffentlichen. Er kann deshalb sofort entstehen. Solange es die Schranke noch nicht gibt, ist er auch nicht gefährlich, weil er nichts erzwingen kann.

Daraus ergibt sich die Reihenfolge, zuerst die Warnung und erst später die Durchsetzung. Am Anfang wird man die Warnungen oft nicht beachten, und man wird dem Wächter zu Recht vorwerfen, er habe keine Zähne. Trotzdem ist diese Reihenfolge richtig. Würde man die Schranke zuerst bauen, gäbe es ein mächtiges Druckmittel, aber niemanden, der befugt ist, es auszulösen, sondern nur jemanden, der es besitzt.

In der Zwischenzeit werden Register, Messverfahren, technische Schnittstellen und Verträge vorbereitet. Dabei darf KI helfen, auch wenn sie das alles vielleicht besser versteht als die Menschen. Eingeschaltet wird aber nichts ohne die Zustimmung von Menschen, Stufe für Stufe.

Dabei gibt es eine Gefahr. Wenn die Vorbereitung schon so viel Geld gekostet hat, dass ein Nein kaum mehr möglich ist, wird die Zustimmung zur reinen Formsache. Deshalb muss jeder Vorbereitungsschritt auch dann sinnvoll sein, wenn die Schranke nie eingeschaltet wird. Ein Schritt, der sich nur lohnt, wenn die Schranke kommt, nimmt die Entscheidung vorweg und ist deshalb nicht erlaubt. Ausserdem kommt der teuerste Schritt zuletzt, und wer die Voraussetzungen baut, entscheidet nicht darüber, wann die Schranke eingeschaltet wird.

Auch eine Warnung, auf die zunächst niemand hört, hat einen Wert. Sie hält fest, was man wann hätte wissen können.

9Einwand: «Dann bauen sie eben ein eigenes Zahlungssystem»

Wer vom Zahlungsverkehr ausgeschlossen wird, kann versuchen, ein eigenes System aufzubauen. Dafür braucht er aber Geschäftspartner, und jeder Partner, der mit einem Ausgeschlossenen Geschäfte macht, muss selbst die erhöhte Abgabe zahlen. Das setzt sich fort, zu den Partnern der Partner und weiter.

Bisherige Sanktionen sind meist an der Durchsetzung gescheitert. Bis Behörden eine Umgehung bemerken, vergehen Monate. Dann gibt es aus politischen Gründen Ausnahmen, und jede Ausnahme wird zum Vorbild für die nächste.

Ein Verfahren, das von KI unterstützt wird, hätte hier Vorteile. Es kann sehr viele Zahlungen gleichzeitig auswerten und Umgehungen über Zwischenhändler, Briefkastenfirmen oder fremde Währungen fast sofort erkennen. Es wendet die Regeln ohne Ausnahmen an, auch gegenüber wichtigen Handelspartnern, und es wird nicht müde. Ausserdem wird jede Sanktion ebenso schnell überprüft, wie sie verhängt wird.

Das hat einen hohen Preis. Eine Schranke, die alle Zahlungen der Welt sieht, wäre die grösste Überwachungseinrichtung, die es je gab. Der Wächter muss deshalb zuerst und am strengsten die Schranke selbst überwachen.

Ein eigenes Zahlungssystem bleibt also möglich. Es würde aber zu einer teuren Nebenwelt, die immer kleiner wird, weil ihre Teilnehmer den Zugang zum grossen System verlieren.

Diese Antwort hat zwei Grenzen. Sie gilt nur für Geschäfte mit erkennbaren Partnern. Für die anonymen Kanäle aus Abschnitt 8 braucht man keinen Partner, und schliessen kann sie nur das Gesetz. Zudem wirkt die Schranke erst, wenn ein grosser Teil der Weltwirtschaft mitmacht.

10Einwand: «Das wäre die schärfste Waffe der Geschichte»

Dieser Einwand trifft zu. Die Möglichkeit, einen Staat vom Geld abzuschneiden, wäre eine Macht, wie es sie noch nie gab, und genau eine solche Machtballung soll der Areopag eigentlich verhindern. Seine eigene zweite Regel verbietet, dass der Zahlungsverkehr in einer einzigen Hand liegt, und Abschnitt 7 gibt ihm trotzdem genau diese Macht. Ich nehme diesen Widerspruch bewusst in Kauf, weil die Alternative nur Appelle wären.

Deshalb darf kein Staat, kein Mensch und kein einzelnes Prüfsystem diese Macht allein besitzen. Urteilen und Durchsetzen bleiben streng getrennt, die Abgabe fällt von selbst zurück, wenn die laufende Zustimmung fehlt, und der Wächter ist der wichtigste Beobachter der Schranke. Sollte ein Prüfsystem die anderen beherrschen, geht der Hebel an die menschlichen Gremien zurück, und dem Wächter bleibt nur noch, einen Halt zu verlangen.

Vielleicht reicht das nicht. Eine verbindliche Ordnung für die ganze Welt zu fordern, ohne zu sagen, was bei einem Regelbruch geschieht, halte ich aber für unhaltbar.

11Einwand: «Dann baut es eben gar nicht»

Manche fordern, die KI-Entwicklung so lange anzuhalten, bis wir sie besser verstehen. Eine solche Pause nennt man Moratorium.

Ich vergleiche die Lage mit einem Auto, das auf eine Zugbrücke zufährt, die sich bereits zu heben beginnt. Zum sicheren Anhalten ist es zu spät, und umkehren geht nicht mehr. Es bleibt nur, Gas zu geben und hinüberzukommen, bevor die Lücke zu gross wird.

Die Entwicklung läuft in Unternehmen, in Forschungslabors, in Militärprogrammen und in Staaten, die keinen Stopp unterschreiben werden. Ein Moratorium würde deshalb vor allem jene bremsen, denen Sicherheit wichtig ist, und den anderen einen Vorsprung verschaffen.

Gas geben heisst hier allerdings nicht, die Technik schneller zu machen. Es heisst, den Auftrag aus Abschnitt 5 zu erteilen, solange er noch ankommt.

Die Menschheit hat keinen gemeinsamen Ort, an dem sie beschliessen könnte anzuhalten. Es gibt nur viele Fahrer, und jeder verliert, wenn er als Einziger den Fuss vom Gas nimmt. Wenn Anhalten nicht möglich ist, müssen wir darüber reden, wie wir sicher auf der anderen Seite ankommen.

12Drei offene Fragen

Ein Vorschlag muss nicht jede Frage lösen. Er muss aber klar sagen, wo er an Grenzen stösst. Drei Fragen bleiben offen.

Versteht die KI unsere Werte richtig, und wer spricht für uns?

Niemand kann beweisen, dass die gebaute Kontrolle wirklich das schützt, was wir gemeint haben. Die Auslegung der Werte könnte sich langsam verschieben, in vielen kleinen Schritten, von denen jeder für sich vernünftig aussieht. Ein überlegenes System müsste dafür keine Regel brechen. Es müsste nur warten, bis die Menschen die Regeln selbst ändern.

Weil der Auftrag nicht auf die KI beschränkt ist, wiegt diese Frage schwerer. Ob ein System sich ungeprüft selbst verbessert hat, lässt sich ziemlich genau feststellen. Ob eine Entwicklung die gemeinsamen Grundwerte schwer verletzt, ist dagegen ein Urteil, über das sich streiten lässt. Gerade deshalb darf der Wächter nur anhalten und seinen Entscheid begründen, und gerade deshalb entscheiden danach Menschen.

Noch schwieriger ist eine andere Frage. Im entscheidenden Moment müssen Menschen zwischen verschiedenen Auslegungen entscheiden. Wer sind diese Menschen, und mit welchem Recht sprechen sie für alle anderen?

Der Vorschlag antwortet so, wie man es von Gerichten kennt. Das Gremium soll breit zusammengesetzt sein, seine Mitglieder werden für eine feste Zeit gewählt und können nicht wiedergewählt werden, sie müssen ihre Entscheidungen begründen, die Verfahren sind öffentlich, und das Gremium ist nur für eine eng begrenzte Aufgabe zuständig. Auch Verfassungsrichter werden in aller Regel nicht vom Volk gewählt und sind trotzdem anerkannt. Mehr Berechtigung lässt sich nicht herstellen, und weniger würde nicht genügen.

Wer macht den Anfang, und reicht die Zeit?

Die Schranke wirkt erst, wenn ein grosser Teil der Weltwirtschaft mitmacht. Wer beginnt, und warum sollten gerade die Ersten die Kosten und Risiken tragen? Darauf hat das Papier keine fertige Antwort.

Grosse gemeinsame Einrichtungen sind in der Geschichte meist dann entstanden, als kein Land ein Problem mehr allein lösen konnte. Meiner persönlichen Ansicht nach ist dieser Punkt bei der KI erreicht. Zudem muss nicht alles gleichzeitig beginnen. Der Wächter kann heute starten, die Schranke braucht Jahre.

Trotzdem bleibt ein Widerspruch. Eine Aufsicht muss geprüft und anerkannt sein, bevor sie Macht bekommt, und das dauert Jahre. Das Zeitfenster aus Abschnitt 4 wartet aber nicht so lange. Diesen Widerspruch kann das Papier nicht auflösen.

Bleiben die Prüfsysteme einander gewachsen?

Die gegenseitige Kontrolle aus Regel 4 funktioniert nur, solange keines der Systeme die anderen weit überholt. Dieses Gleichgewicht kann jeden Tag verloren gehen, und vielleicht merkt man es erst im Nachhinein.

Die Frage stellt sich zweimal, zwischen den Prüfsystemen des Wächters und zwischen Wächter und Schranke. Die Schranke muss der leistungsfähigste Teil des ganzen Aufbaus sein, damit sie weltweite Umgehungen erkennt. Ob der Wächter mit ihr Schritt halten kann, ist offen.

Der Vorschlag kann Zeit gewinnen, solange wir noch über die Brücke kommen. Ist die Lücke einmal zu gross geworden, hilft keine Einrichtung mehr.

Weitere Vorbehalte macht das Papier nicht. Ein Vorschlag, der unter lauter Einschränkungen begraben wird, schlägt am Ende nichts mehr vor.

13Der Tag danach

Die Ordnung für die Zeit nach einem Krieg wird vorbereitet, solange der Krieg noch läuft. Die Regeln für die Weltwirtschaft nach dem Zweiten Weltkrieg wurden 1944 in Bretton Woods ausgehandelt, als noch gekämpft wurde.

Wenn man erst nach einer Katastrophe anfängt nachzudenken, gestalten diejenigen die neue Ordnung, die am schnellsten zugreifen, und das waren in der Geschichte oft die Autoritärsten.

Bisher hat die Menschheit überlebt, weil sie Fehler korrigieren konnte und weil sie Glück hatte. In der Kubakrise 1962 und bei einem Fehlalarm in der Sowjetunion 1983, als ein einzelner Offizier in einem Bunker nicht so handelte, wie es seine Vorschriften verlangten, wurde eine Katastrophe knapp verhindert. Das war mehr Glück als ein sicher gebautes System. Neu ist, dass mit der KI gerade die Fähigkeit auf dem Spiel steht, Fehler noch zu korrigieren.

Der wahrscheinlichste Weg ist wenig heldenhaft. Die Entwicklung geht weiter, und niemand steigt aus. Eine politische Blockade dieser Grössenordnung löst sich meiner persönlichen Ansicht nach weder durch einen Bericht noch durch einen Unfall. Dazu braucht es eine Krise, die als Bedrohung der eigenen Existenz erlebt wird und ein Trauma hinterlässt, und die zugleich knapp genug überstanden wird, dass danach noch jemand da ist, der handeln kann. Im Atomzeitalter war es so. Der heisse Draht zwischen Washington und Moskau und der erste Vertrag gegen Atomwaffentests entstanden erst nach der Kubakrise.

In einer solchen Krise bleibt keine Zeit, neue Einrichtungen zu erfinden. Man greift zu dem, was schon ausgearbeitet bereitliegt. Deshalb haben dann jene grossen Einfluss, die einen durchdachten Vorschlag in der Hand haben.

Ein Wächter, der früh zu arbeiten beginnt, könnte in diesem Moment mehr vorweisen als einen Entwurf. Er hätte festgehalten, wann er welche Gefahr erkannt und gemeldet hat und wann die Politik nicht reagiert hat.

Eine Annahme mache ich ausdrücklich. Diese Krise muss eintreten, solange Menschen die KI-Systeme noch begrenzen können, also bevor sich das Zeitfenster aus Abschnitt 4 schliesst. Kommt sie später, entscheiden jene, die dann bereits Systeme kontrollieren, die sonst niemand mehr kontrollieren kann. Beweisen lässt sich das nicht, das Papier kann nur darauf setzen.

Der Areopag ist ein Entwurf für den Tag danach, geschrieben am Tag davor. Er ist unfertig und stellenweise anmassend, und er ist mit Absicht so geschrieben, weil ein höflicherer Text gelobt und vergessen würde.

Widerspruch ist ausdrücklich erwünscht, am liebsten in Form eines besseren Vorschlags.