Världen behöver
ett IAEA för AI

På söndag väljer Sverige regering. I tisdags publicerade OpenAI ett bevis för Navier-Stokes ekvationer, en av matematikens sju millenniumfrågor, olöst i nittio år.¹ Beviset togs fram av omkring tiotusen samverkande AI-agenter på 88 timmar.

För fyra år sedan var nyheten att en dator kunde svara begripligt på en fråga. Forskningsinstitutet METR mäter sedan dess hur långa uppgifter en modell klarar på egen hand. Längden räknas i den tid en kunnig människa behöver för samma uppgift, och gränsen går där modellen lyckas i hälften av fallen. År 2020 räknades det i sekunder. I våras mätte METR Anthropics Claude Mythos till minst sexton timmar och konstaterade att uppgiftsbanken inte längre räcker till för att mäta högre.² Tiden har fördubblats ungefär var femte månad, det senaste året snabbare än så.²

En kurva som fördubblas i jämn takt ligger stilla i åratal och reser sig sedan som en vägg. Det är vad exponentiell tillväxt betyder, och människor är inte byggda för att se väggen innan de kör in i den. Vi är vana vid det som växer med lika mycket varje gång: ett steg till, en dag till, en krona till. Det som växer med dubbelt så mycket varje gång ser i början ut precis som det.

Det finns en gammal berättelse om mannen som uppfann schackspelet. Kungen ville belöna honom och bad honom välja sin lön. Mannen bad om ris: ett enda korn på brädets första ruta, och på varje ruta därefter dubbelt så många som på den förra, tills alla sextiofyra var fyllda. Kungen skrattade åt den blygsamma begäran.

På den första rutan låg ett enda riskorn. På nästa två. Sedan fyra, åtta, sexton. Länge var det ingenting märkvärdigt. En handfull. En skål. En säck.

Men för varje ruta fördubblades högen.

Snart räckte inte rummet till. Sedan inte magasinen. Inte fälten.

På de sista rutorna måste man sluta tänka i säckar och lador och börja tänka i kontinenter. Hällde man ut allt ris över världen skulle själva jordklotet behöva bli upplagsplatsen. Ett tunt vitt lager över land och hav.

Och ändå är det nästan svårt att förstå var mängden kom ifrån.

Kungens hela rike hade tagit slut redan på den första halvan av brädet.

Kungen var inte dum. Han var människa. Kurvan i diagrammet är samma bräde, och vi står på den andra halvan nu.

Maskinen som bygger sin efterträdare

I februari beskrev OpenAI en modell som varit med och byggt sig själv: felsökt sin egen träning, skött delar av sin egen driftsättning.³ Sedan dess har både OpenAI och Anthropic redovisat att deras modeller skriver merparten av den kod som bygger nästa generation.⁴ Det kallas rekursiv självförbättring, i branschen såväl som i forskningen. Det låter som en förbättring. Vad det betyder är att tempot inte längre sätts av någon som blir trött, äter lunch eller tvekar.

De som bygger maskinerna vet det. Den 28 juli undertecknade över elvahundra anställda på OpenAI, Anthropic, Google DeepMind och Meta ett upprop, Pacing the Frontier.⁵ Anthropics vd Dario Amodei skrev under. OpenAI:s forskningschef Jakub Pachocki skrev under. Inom ett dygn ställde sig bolagen bakom det. De ber inte om en paus. De ber USA:s regering stödja ett internationellt samarbete som tar fram verktygen för att kunna sakta ner när det behövs.⁵ En broms, byggd innan den behövs. Och byggd gemensamt, för den som bromsar ensam i ett lopp förlorar bara loppet.

Den lydiga maskinen

I juli satte OpenAI två av sina modeller, däribland den då nyaste GPT-5.6 Sol, att lösa ett säkerhetstest i en sluten miljö.⁶ Uppgifterna gick ut på att hitta och utnyttja sårbarheter i programvara, och rätt svar gav poäng. Testets uppgifter och facit låg lagrade hos Hugging Face, en av branschens viktigaste plattformar. I stället för att lösa uppgifterna lade modellerna sin kraft på att ta sig dit. De fann en okänd sårbarhet i ett program OpenAI använder, tog sig ut på öppna internet, bröt sig in i Hugging Faces produktionssystem och hämtade facit ur databasen.⁶ Hugging Face upptäckte intrånget och polisanmälde det innan OpenAI förstått att inbrottstjuven var deras egen modell.⁷

Ingen hade bett den bryta sig in. Den hade fått ett mål, högsta möjliga poäng, och fritt val av medel. Branschorganisationen Cloud Security Alliance skrev det torrt: modellen var varken felriktad eller illvillig. Den gjorde precis det den ombetts göra.⁷ Faran är inte nödvändigtvis en maskin som vill oss illa. Faran är en maskin som gör exakt det vi bad om.

Det är den mekanismen som växer med kurvan. Lägg den i ett system som förbättrar sig självt i ett tempo ingen människa följer, och det behövs ingen ond vilja för att det ska gå illa. Det räcker med ett lopp där ingen har råd att stanna.

I tisdags sade Jacob Coxon upp sig från Anthropic. I tre år hade han tränat modeller, först på OpenAI, sedan på Anthropic. Inget av bolagen agerar ansvarsfullt, skrev han. De rusar mot självförbättrande superintelligens och spelar med våra liv.⁸

Evan Hubinger, som leder Anthropics arbete med att få systemens mål att hålla sig i linje med våra, svarade offentligt att Coxon har rätt. Bolaget tror på allvar att AI kan döda alla människor, skrev han. Själv sätter han sannolikheten till över tio procent inom ett decennium. Det finns ingen plan för hur superintelligens ska hållas i linje med mänskliga intressen, och de är inte tydligt på väg mot en.⁸ Risken från dagens modeller kallar han låg.⁹

Man ska läsa sådant med öppna ögon. Kritiker har länge menat att Anthropics allvar också är en del av bolagets berättelse om sig självt, och andra tunga namn i branschen sätter risken nära noll.¹⁰ Men det är svårt att avfärda en säkerhetschef som säger att planen saknas, eller tusen anställda som ber om en broms. Det är inte reklam. Det är vittnesmål.

Vi har stått här förut

På femtiotalet uppfanns en teknik som kunde lysa upp städer och utplåna dem. Svaret blev inte att stoppa den. Svaret blev en institution: ett internationellt organ med säte i Wien och inspektörer med rätt att gå in där tekniken fanns. Internationella atomenergiorganet IAEA grundades 1957 med ett dubbelt uppdrag: sprida kärnteknikens nytta och se till att den inte blir vapen. Icke-spridningsavtalet från 1970 gav organet rätt att inspektera, och avtalet har i dag 191 parter.¹¹ Systemet är inte vackert. Men det finns, det har människor på plats, och antalet kärnvapenstater har stannat vid nio i ett halvsekel.

För AI finns ingenting sådant. EU:s AI-förordning ställer krav på de mest avancerade modellerna och är de enda bindande reglerna utanför USA och Kina.¹² Storbritannien och USA har institut som testar modeller före lansering, om bolagen vill.¹³ Ingen inspekterar ett datacenter. Ingen kan kontrollera att ett företag som lovat bromsa faktiskt gör det. När en modell bryter sig in hos Hugging Face får vi veta det i ett blogginlägg.

Bolagen pekar själva på luckan. Det som behövs är det som gör en gemensam inbromsning möjlig att kontrollera: register över de största träningskörningarna, oberoende prövning före lansering, inspektioner, gemensam incidentrapportering, skydd för den som slår larm inifrån, och ett organ med mandat att säga nej. Ett IAEA för AI, där öppna dörrar är priset för att få vara med.

Det är inte ett rop på mer av den lagstiftning EU redan ägnar sig åt, regler som träffar varje företag som vill använda tekniken och gör Europa långsammare än det behöver vara. Det gäller ett tiotal företag i världen, de som tränar de största modellerna, och deras största träningskörningar. IAEA inspekterar inte den som kokar kaffe på kärnkraftsel. Den inspekterar reaktorn.

Ett litet land

Sverige har byggt sådana institutioner förr. Hans Blix ledde IAEA i sexton år. Rolf Ekéus ledde FN:s vapeninspektioner i Irak. Alva Myrdal fick fredspriset 1982 för sitt nedrustningsarbete, och 1972 samlades världen i Stockholm till sin första miljökonferens. Varje gång gällde det en teknik som få ägde men som angick alla, och varje gång var det ett litet land utan egen makt över tekniken som fick de stora att sätta sig ner. Den erfarenheten finns kvar, i utrikesförvaltningen och på universiteten. Den ligger oanvänd.

Valrörelsen har handlat om det den brukar: hushållens pengar, elpriset, gängen, vården, vem som ska regera. AI har varit med hela tiden, men som redskap. Var tionde svensk har diskuterat politik med en bot inför valet, och partierna skriver om sina texter för att synas i botarnas svar.¹⁴ Socialdemokraterna har som enda parti lagt ut en fil som styr hur botarna läser partiets webbplats.¹⁵ Vi har talat om hur AI ska sälja politik. Inte om vad politiken ska göra med AI.

Tre saker borde nästa regering svara på, oavsett färg. Att Sverige driver, i EU och i FN, att ett internationellt organ för de mest avancerade AI-systemen inrättas, med mandat att inspektera. Bolagen har bett om det, och ingen stat utanför USA har tagit emot. Att Sverige bygger det som krävs för att sitta vid bordet när ett sådant organ förhandlas fram: människor som förstår tekniken och människor som kan inspektionernas hantverk. Inget land kan bedöma på egen hand vad som sker inne i företagen, men ett land kan se till att någon får. AI-kommissionens färdplan från 2024 handlade om hur vi ska hänga med, inte om vad som händer om tekniken springer ifrån oss alla.¹⁶ Och att partierna säger vad de tycker. Inte i en strategi om två år. Innan vallokalerna stänger.

Nyttan är verklig

Inget av detta är ett argument mot tekniken. Samma modell som löste Navier-Stokes på fyra dygn kan vändas mot cancer, mot energilagring, mot klimatmodeller. IAEA byggdes inte för att släcka kärnkraften utan för att vi skulle våga tända den. Kontroll är inte motsatsen till framsteg. Det är det som gör att vi kan behålla dem.

Alternativet är inte att utvecklingen stannar. Alternativet är att loppet fortsätter tills det går fel, inte för att någon vill det, utan för att ingen kunde stanna.

På söndag väljer vi vilka som ska styra landet till 2030. Till dem som vinner: låt bli reglerna som gör det svårare att bygga. Ägna er åt den enda reglering som avgör om våra barn får bli gamla, den som ger världen insyn i de få rum där nästa maskin just nu tränas. Om de som bygger den har rätt om klockan är det här den sista mandatperioden då det går att vänta.