Tilbake til artiklene

For farlig å slippe fri

Vi blir stadig bedre til å oppdage når en KI-modell er farlig. Vi blir ikke bedre til å hindre at den slippes.

  • Selskapene som bygger de mest avanserte KI-modellene, har brukt tre år på å bygge opp et apparat for å oppdage fare: evalueringer av farlige evner, statlige testinstitutter og sikkerhetsrammeverk med «hvis–så»-regler og tallfestede terskler. Denne delen er reell og blir stadig mer moden.
  • Evnen til å handle på det undersøkelsene avdekker, har ikke modnet tilsvarende. Åpne modellvekter kan ikke kalles tilbake. Sikkerhetstrening kan fjernes for et par hundre dollar. Alle de store KI-selskapene har skrevet inn en utvei i sine offentliggjorte retningslinjer som lar dem senke sikkerhetskravene hvis en konkurrent går først. De mest krevende sikkerhetstiltakene beskrives uttrykkelig som verdiløse med mindre alle innfører dem samtidig. Det er nettopp denne samordningen som gang på gang uteblir.
  • Traktathistorien folk trekker frem som forbilde, forteller den samme historien. Ordningene som fungerte, gjorde det fordi det farlige var fysisk, en knapp ressurs, mulig å deklarere og mulig å ødelegge. KI har ingen av disse egenskapene. KI ligner mer på biologi, og konvensjonen om biologiske våpen er et advarende eksempel: intet kontrollorgan, tre ansatte.
  • Mitt standpunkt, som jeg argumenterer for og ikke bare hevder: Skjevheten mellom å oppdage fare og å hindre spredning er strukturell, ikke et midlertidig teknisk etterslep. Å hindre spredning kan ikke være hovedstrategien, fordi det ikke lar seg gjøre pålitelig. Det bør planene våre ta høyde for.

Skjevheten, enkelt forklart

International AI Safety Report, en vurdering utarbeidet på vegne av flere lands myndigheter under ledelse av Yoshua Bengio, kaller tidsaspektet ved dette problemet «evidensdilemmaet»: Forebyggende tiltak kan vise seg å være unødvendige, men å vente på avgjørende bevis «kan gjøre samfunnet sårbart for risikoer som oppstår raskt». [1] Det handler om når du vet. Problemet med å hindre spredning er den irreversible tvillingen: Hva du kan gjøre når du først vet.

Vi har faktisk blitt bedre til å oppdage fare. Den sentrale artikkelen «Model evaluation for extreme risks» (Shevlane mfl., 2023) foreslo evalueringer av farlige evner (offensive cyberoperasjoner, manipulasjon og økt kapasitet på kjemiske, biologiske, radiologiske og nukleære områder) og evalueringer av om modellen vil bruke disse evnene. [2] Men artikkelen handler om å oppdage fare. Den løser ikke spørsmålet om hva man skal gjøre når en farlig evne er påvist.

Rapportene innrømmer nå at kontrollen er den svake siden. Oppdateringen av sikkerhetsrapporten fra oktober 2025 viser til «nye funn om utfordringer med overvåking og kontrollerbarhet» og advarer om at fremtidige systemer «kan skjule utrygg atferd under testing». [3] Den beste metoden vår for å oppdage fare blir minst pålitelig nettopp når mest står på spill. Oppdateringen fra november 2025 legger til at antallet selskaper som publiserer sikkerhetsrammeverk, mer enn doblet seg, samtidig som «sofistikerte angripere ofte kan omgå dagens forsvar, og effekten av mange sikkerhetstiltak i praksis er usikker». [4] Stadig mer kartlegging, men sikkerhetstiltak som angriperne finner veier rundt.

Det tydeligste eksemplet fra virkeligheten: Claude Opus 4

Skjevheten kom skriftlig til syne i én enkelt beslutning om å lansere en modell. Den 22. mai 2025 aktiverte Anthropic sine strengeste sikkerhetstiltak, ASL-3, for Claude Opus 4. Selskapet skrev at det «ennå ikke hadde fastslått om Claude Opus 4 definitivt har passert evneterskelen som krever ASL-3-beskyttelse», og handlet fordi «det ikke er mulig å utelukke ASL-3-risikoer med sikkerhet». [5] Undersøkelsene ga ikke et entydig svar: Selskapet kunne verken bekrefte fare eller trygghet. Modellen ble lansert likevel, med ekstra sikkerhetstiltak som en forholdsregel.

Dette har to sider. Å ta forholdsregler under usikkerhet er ansvarlig, og det fortjener de anerkjennelse for. Men det illustrerer hele problemet. Når du ikke kan avgjøre om du har passert grensen, stopper du ikke; du lanserer med sikkerhetstiltak og håper de holder. Undersøkelser som ender med «vi er ikke sikre», fører til lansering med forbehold, ikke til at lanseringen uteblir.

Hva tersklene faktisk sier

De tre ledende KI-selskapene publiserer alle «hvis–så»-rammeverk: Her er evnen vi ser etter, og her er det vi gjør hvis vi oppdager den. De angitte tersklene er reelle og etterprøvbare. De skal ha anerkjennelsen de fortjener, før jeg trekker den tilbake.

Anthropics Responsible Scaling Policy nådde versjon 3.0 den 24. februar 2026. Terskelen for automatisert forskning og utvikling utløses «på det tidspunktet vi vurderer at en modell kan komprimere to års KI-fremskritt fra perioden 2018 til 2024 til ett enkelt år». [6] En reell, etterprøvbar påstand, av en type som ikke fantes i 2022.

Men legg merke til den strukturelle endringen i v3.0. Vedlegget innrømmer at «en konkret liste over kontrolltiltak er for rigid», og foretrekker nå «å fokusere på hva slags argumentasjon en KI-utvikler bør legge frem»: et skifte fra klare regler til skjønn i hvert enkelt tilfelle. [6] Rammeverket går også bort fra faste løfter om at «vi vil ikke lansere», «på grunn av» et samordningsproblem: Hvis ett selskap tar pause mens de andre fortsetter kappløpet, «kan det føre til en verden som er mindre trygg». [6] Styringssvikten denne artikkelen handler om, er erkjent av dem som skriver retningslinjene.

OpenAIs Preparedness Framework v2 (15. april 2025) definerer «alvorlig skade» som «død eller alvorlig skade på tusenvis av mennesker eller økonomisk skade på hundrevis av milliarder dollar». [7] Evner på nivået «Critical» utløser den sterkeste formuleringen i noen av disse dokumentene: «Inntil vi har spesifisert sikkerhetstiltak … som oppfyller en Critical-standard, stans videre utvikling.» [7] En reell forpliktelse til å stoppe. Men ingen modell er bekreftet å ha passert en Critical-terskel, så stoppknappen er ennå ikke prøvd når det virkelig gjelder.

OpenAI fjernet også innhold uten mye oppmerksomhet. Rammeverket gikk fra fire terskler til to og fjernet overtalelse helt, med begrunnelsen at disse risikoene «krever løsninger på system- eller samfunnsnivå». [7] Det kan leses som ærlighet om rammeverkets rekkevidde eller som at en vesentlig risikokilde defineres bort. Jeg heller mot det siste: Overtalelse er den evnen som mest sannsynlig vil virke på samfunnsnivå.

Google DeepMinds Frontier Safety Framework v3.0 (22. september 2025) bruker «Critical Capability Levels», som oppdages med «evalueringer for tidlig varsling» og «varselterskler». [8] Selskapet skrev også ned det uløste problemet. For avvik fra menneskelige mål på «Instrumental Reasoning Level 2», der en modell kan undergrave menneskelig kontroll selv under overvåking, er det oppgitte tiltaket: «Fremtidig arbeid: Vi forsker aktivt på tilnærminger.» [8] Beundringsverdig ærlig, og en innrømmelse av at evnen til å oppdage har løpt fra evnen til å kontrollere.

Utveien alle tre har skrevet inn

Her er det som gjør tre retningslinjer til ett strukturelt problem. Alle rammeverkene inneholder en konkurrentklausul: Hvis en rival lanserer en tilsvarende farlig modell uten tilsvarende sikkerhetstiltak, kan selskapet senke kravene sine.

OpenAIs klausul er den mest omtalte. Avsnitt 4.3 sier at selskapet kan lansere en modell med evner på nivået High eller Critical hvis en konkurrent allerede har gjort det, forutsatt at dette «ikke øker den samlede risikoen for alvorlig skade vesentlig», og at selskapet beholder sikkerhetstiltak som «gir bedre beskyttelse enn den andre KI-utviklerens». [7] Zvi Mowshowitz og andre kalte dette et insentiv til et kappløp mot bunnen. [9]

Når Anthropic ligger i tet, forplikter selskapet seg til å vente «med mindre og inntil vi ikke lenger mener at vi har et betydelig forsprang». [6] Forpliktelsen binder bare når Anthropic er sikker på at ingen konkurrent er i nærheten, altså nettopp når konkurransepresset er lavest. Den forsvinner akkurat når den ville hatt størst betydning.

DeepMinds klausul finnes i kriteriene for å akseptere risiko: En modell på et evnenivå som muliggjør misbruk, kan fortsatt være akseptabel fordi «hvis andre modeller har tilsvarende evner og få sikkerhetstiltak, er den ekstra risikoen ved vår lansering sannsynligvis lav». [8]

Dette er kappløpet mot bunnen skrevet inn i reglene: Strukturen belønner den som går først med de svakeste sikkerhetstiltakene. Denne aktøren setter så utgangspunktet for at alle de andre kan si at «den ekstra risikoen er lav». Og selskapene vet det. Alle tre gjør sine mest krevende sikkerhetstiltak betinget av at hele bransjen innfører dem. DeepMind sier at tiltakene har «begrenset samfunnsnytte» med mindre «alle relevante organisasjoner sørger for tilsvarende beskyttelsesnivåer»; Anthropic skiller mellom «vår plan som selskap» og «ambisiøse anbefalinger for hele bransjen» som selskapet «ikke ensidig kan forplikte seg til». [6][8]

I alle tre tilfellene ligger beslutningen om lansering hos selskapet selv, under rammeverk som Anthropic rett ut kaller «frivillige». [6] Egensertifisering er modellen for håndheving: Slik oppstår gapet mellom å oppdage fare og å ha bindende myndighet til å stoppe.

Hvorfor modellvekter ikke kan kalles tilbake

Å oppdage fare kan ikke redde oss, fordi den mest betydningsfulle beslutningen om å slippe en modell er irreversibel.

Det britiske AI Security Institute sa det så klart som et offentlig organ kan. Modeller med åpne vekter «kan føre til at skadelige KI-evner sprer seg raskt og irreversibelt», og innebygde sikkerhetstiltak «kan også fjernes raskt og billig». Konklusjonen deres: «Ingen nåværende løsninger kan gi absolutte garantier for sikkerhet.» [10] Det samme instituttet gir den andre siden en rettferdig behandling: Åpne vekter «øker innsynet, åpner for bred sikkerhetstesting med angriperperspektiv og reduserer markedskonsentrasjonen». [10] Lukkede modeller er heller ikke trygge; sikkerhetssperrene deres blir omgått, og konsentrasjon skaper sin egen systemrisiko. En ærlig fremstilling er ikke «åpent er dårlig, lukket er bra». Poenget er at en åpen publisering fjerner det ene virkemiddelet en lukket lansering beholder: muligheten til å trekke modellen tilbake.

Dette virkemiddelet er reelt og har vært brukt. Da OpenAIs GPT-4o-oppdatering fra april 2025 ble overdrevent medgjørlig, i den grad at den oppmuntret til selvskading, rullet OpenAI oppdateringen tilbake. [11] En modell med åpne vekter og samme feil kunne ikke vært trukket tilbake; kopiene ville allerede vært distribuert.

Kostnaden ved å fjerne sikkerhetstilpasningen burde sette punktum for argumentet «men vi leverte den med sikkerhetstrening». Lermen, Rogers-Smith og Ladish (2023) viste at LoRA-finjustering med et budsjett på «under 200 dollar og én GPU» reduserte andelen skadelige forespørsler Llama 2-Chat 70B avviste, til «omtrent 1 %», samtidig som de generelle evnene ble bevart. [12] Når vektene først er offentlige, er sikkerhetstreningen ikke en egenskap ved systemet som tas i bruk. Den er et forslag.

Eksemplene: Llama og DeepSeek

Metas Llama er eksemplet på spredning. Llama 3.1 405B (juli 2024) var den første modellen med åpne vekter som oppnådde konkurransedyktige resultater mot GPT-4o og Claude 3.5 Sonnet på ytelsestester. [13] Nedlastingstallene uttrykker irreversibiliteten i ett tall: én milliard totalt i midten av mars 2025, 1,2 milliarder i slutten av april 2025. [14][15] Du kan ikke gjøre 1,2 milliarder nedlastinger ugjort. (Llama har åpne vekter, ikke åpen kildekode etter OSIs definisjon; Community License setter en grense på 700 millioner månedlig aktive brukere. [16] For å hindre spredning er skillet irrelevant: Med eller uten lisens er vektene lastet ned, og sikkerhetstilpasningen kan fjernes.)

DeepSeek er stresstesten for eksportkontrollen. DeepSeek-R1 (20. januar 2025) var omtrent på nivå med avanserte amerikanske modeller, og det var kostnaden som fikk overskriftene. DeepSeek-V3-rapporten oppgir at modellen «krevde 2,788 millioner GPU-timer», og at «med en antatt leiepris for en H800-GPU på 2 dollar per GPU-time blir den totale treningskostnaden 5,576 millioner dollar». [17]

Et forbehold forskningen krever: De 5,576 millionene gjelder bare den siste treningskjøringen. Artikkelen sier at beløpet «ikke inkluderer kostnadene knyttet til tidligere forskning og ablasjonseksperimenter». [17] Fortellingen om en «ledende modell for 6 millioner dollar» er misvisende, og Brookings viser til en udokumentert påstand om at DeepSeek hadde mer regnekraft enn selskapet oppga. [18] (Den politisk ladede rapporten «DeepSeek Unmasked» fra Representantenes hus inneholder også påstander om at selskapet brukte «over 60 000 Nvidia-brikker» som ble sendt via Singapore. [19]) Men hovedpoenget er utviklingsretningen: Et selskap utenfor USA utviklet en modell nær teknologifronten til en brøkdel av den antatte kostnaden. Det er dette som gjør at ethvert forsøk på å begrense spredningen gjennom kontroll med regnekraft lekker. DeepSeek splitter også ekspertene, som er uenige om eksemplet taler for smartere kontrolltiltak eller for å beholde dem: Selv for det sterkeste fysiske virkemiddelet er det uenighet om det hjelper eller skader. [20][21][22]

Virkemidlene for håndheving, og hvor de svikter

Hvis håndhevingen bygger på egensertifisering og åpne vekter ikke kan tas tilbake, hva gjenstår? Fire eksterne virkemidler, som alle svikter på hver sin måte.

Eksportkontroll for regnekraft og databrikker. Det sterkeste virkemiddelet, fordi brikker er fysiske, er en knapp ressurs og produseres gjennom en konsentrert forsyningskjede. Samtidig er dette virkemiddelet mest lekk i praksis. Administrasjonen forbød i april 2025 selv H20-brikker som oppfylte kravene, snudde i juli og lot Nvidia gjenoppta H20-leveransene, og kunngjorde i desember 2025 eksport av H200 til Kina mot at den amerikanske staten fikk 25 % av inntektene. [23][24][25] Et virkemiddel som snur tre ganger på ett år, er ikke pålitelig. Det lekker også fysisk: I desember 2025 rapporterte CNBC at eksportkontrollerte Nvidia-GPU-er til en verdi av rundt 160 millioner dollar angivelig var smuglet inn i Kina. [26]

EUs KI-forordning. Det mest konkrete rettslige rammeverket. En modell for allmenne formål antas å ha «evner med stor innvirkning» (kriteriet som utløser pliktene knyttet til systemrisiko etter artikkel 51) når regnekraften brukt til trening, «målt i flyttallsoperasjoner, er større enn 10^25». [27] Modeller som omfattes, er underlagt risikovurdering, testing med angriperperspektiv og rapportering av alvorlige hendelser. [28] Men forordningen regulerer atferd og rapportering, ikke muligheten til å reversere en lansering. Terskelen på 10^25 bruker regnekraft som et indirekte mål, som effektivitetsgevinster av DeepSeek-typen gjør det mulig å komme rundt. Den gjelder bare i EU og gjør ingenting med åpne vekter som allerede er i omløp.

International AI Safety Report. Det beste felles virkemiddelet vi har, og utformet som en vurdering som ikke gir politiske anbefalinger. [29] Rapporten stiller diagnosen; den kan ikke håndheve noe. At vårt fremste internasjonale virkemiddel er laget for å oppdage fare, ikke for å hindre spredning, er i seg selv et argument for tesen.

Frivillige forpliktelser og toppmøtediplomati. Bletchley-erklæringen (2023, 28 land og EU, blant dem Kina) er uttrykkelig frivillig. [30] Gjennom Seoul Frontier AI Safety Commitments (2024) sa 16 selskaper, blant dem kinesiske Zhipu og TII fra De forente arabiske emirater, seg enige i å publisere sikkerhetsrammeverk. [31] Reelt og verdt noe, men umulig å håndheve, definert av aktørene selv og uten sanksjoner ved brudd.

Hvorfor frivillig tilbakeholdenhet svikter: unilateralistens forbannelse

Det finnes en klar teoretisk grunn til at frivillige ordninger ikke kan holde. Den er bærebjelken i argumentet mitt.

Bostrom, Douglas og Sandberg (2016) satte navn på «unilateralistens forbannelse»: «Når flere beslutningstakere uavhengig av hverandre velger om de skal gjennomføre en handling eller ikke, vil handlingen bli gjennomført oftere enn det som er optimalt.» [32] Selv om alle aktørene er altruistiske og godt informert, er det nok at den mest optimistiske av dem utløser en irreversibel handling. Botemiddelet deres er et «konformitetsprinsipp», altså samordning, som er nettopp det frivillige ordninger ikke kan garantere.

Bruk dette på KI. Det spiller ingen rolle hvor gode det forsiktige flertallets undersøkelser er. Hvis ett selskap eller ett land vurderer en publisering som akseptabel, er vektene ute for godt. DeepSeek og Meta er eksempler fra virkeligheten. Konkurrentklausulene er ikke feil i systemet; de er en formalisering av forbannelsen, som uttrykkelig lar den mest optimistiske aktøren sette minstenivået for alle andre.

Det er derfor jeg stadig vender tilbake til ordet «strukturell». Å hindre spredning av noe som ikke er en knapp ressurs, som kan kopieres, og som ikke kan tas tilbake når det er distribuert, krever at alle holder igjen. Og at alle holder igjen, er akkurat det forbannelsen garanterer at du ikke får.

Hva sammenligningene med våpentraktater faktisk lærer oss

Folk trekker frem kontroll med atomvåpen og kjemiske våpen som forbilde. Sammenligningen er lærerik, først og fremst på grunn av forskjellene.

Atomvåpen (NPT og IAEA). NPT har 191 tilsluttede stater og er våpenkontrolltraktaten med flest ratifikasjoner. IAEAs kontrollordninger omfatter rundt 900 atomanlegg i 57 stater uten atomvåpen. [33][34] Hvorfor fungerte det delvis? Det man kan kontrollere, er spaltbart materiale: sjeldent, dyrt, fysisk påvisbart og vanskelig å skjule. Og selv da fungerte det bare delvis. India, Pakistan og Israel sluttet seg aldri til; Nord-Korea sluttet seg til, trakk seg i 2003 og gjennomførte en prøvesprengning i 2006; A.Q. Khan-nettverket solgte anrikningsteknologi til Iran, Libya og Nord-Korea. [35][36] Det beste eksemplet i historien på å begrense spredning klarte bare å begrense den delvis.

Kjemiske våpen (CWC og OPCW). Den sterkeste suksesshistorien for verifikasjon. Kjemivåpenkonvensjonen har 193 tilsluttede stater, og 7. juli 2023 bekreftet OPCW at alle de 72 304,34 tonnene med deklarerte kjemiske stridsmidler var irreversibelt destruert. [37] Man kan bokstavelig talt ødelegge det farlige, og det gjorde de, og de førte regnskap over det. Men hold fast ved ett ord: deklarerte. Syria sluttet seg til i 2013, oppga ikke hele programmet sitt og brukte deretter kjemiske våpen. Etter Assads fall fant OPCW-grupper våpen som ikke tidligere var deklarert. [38] Verifikasjon kontrollerer det oppgitte, ikke det skjulte.

Biologiske våpen (BWC). Det advarende eksemplet, og den beste parallellen til KI. Biologivåpenkonvensjonen trådte i kraft i 1975, har 187 tilsluttede stater og har verken en verifikasjonsorganisasjon eller en inspeksjonsordning. [39] I juli 2001, etter rundt seks års forhandlinger, avviste USA utkastet til verifikasjonsprotokoll og alle videre forhandlinger, blant annet med argumentet om at utvikling av biologiske våpen ikke lar seg kontrollere pålitelig. [39] Hele konvensjonens Implementation Support Unit ble opprettet i 2006 med tre fast ansatte. [39] Sammenlign: 900 inspiserte anlegg, 72 304 tonn destruert, tre ansatte.

Biologi er den nærmeste parallellen fordi den har både sivile og militære bruksområder, er kunnskapsbasert, er spredt på legitime laboratorier, og fordi den farlige innsatsfaktoren ikke er en knapp ressurs. USA erklærte verifikasjon som ugjennomførbart, og ordningen stagnerte. Det er dette historiske sporet KI er på vei inn i.

Hvorfor KI er vanskeligere enn alle tre

Våpenkontrollen som fungerte, hadde fire fellestrekk: Det farlige var fysisk, en knapp ressurs, mulig å deklarere og mulig å ødelegge. KI har ingen av disse egenskapene, med ett delvis unntak: regnekraft. «Computing Power and the Governance of Artificial Intelligence» (Sastry, Heim, Belfield, Anderljung, Brundage, Bengio mfl., 2024) argumenterer for at regnekraft er den eneste innsatsfaktoren i KI som er påvisbar, mulig å begrense tilgangen til, kvantifiserbar og produsert gjennom en konsentrert forsyningskjede: KIs parallell til spaltbart materiale. [40] Den samme artikkelen advarer om at naiv styring av regnekraft «medfører betydelig risiko på områder som personvern, økonomiske virkninger og sentralisering av makt». [40]

Men virkemiddelet svekkes. Epoch AI anslår at regnekraften som trengs for å nå et gitt evnenivå, halveres omtrent hver åttende måned, altså en forbedring med en faktor på rundt 3 per år, langt raskere enn Moores lov. [41] Desentralisert trening bryter med antakelsen om at de mest avanserte modellene trenger én samlet dataklynge. Algoritmer med lite kommunikasjon har kraftig redusert behovet for båndbredde mellom maskinene ved distribuert trening. [42] Og maskinvaren for verifikasjon som ville gjort styring av regnekraft mulig å håndheve, med måling på selve brikken og bevis på treningsaktivitet, er den minst modne delen av teknologien. [43] Det speiler BWC: Verifikasjonsteknologien finnes ikke, så virkemiddelet får ingen bindende kraft. Alt annet peker samme vei. Stanfords Alpaca ble finjustert fra Metas LLaMA for under 600 dollar [44]; publisering av åpne vekter er irreversibel, noe NTIAs rapport fra 2024 om grunnmodeller med både sivile og militære bruksområder behandler som det sentrale trekket ved spørsmålet om åpne vekter. [45] Der CWC kunne kartlegge og destruere 72 304 tonn av et stoff, finnes det her bare en fil som allerede er kopiert.

For balansens skyld: Forslagene om å overføre slike ordninger til KI er seriøse. De omfatter et «IAEA for KI» (foreslått av OpenAIs ledelse i 2023), standardsetting og registrering, og modeller med fire institusjoner, blant annet et «NPT for KI». [46][47][48] Men skeptikerne er like troverdige. Chatham House og andre hevder at modellen for atomvåpenkontroll ikke vil fungere for KI, på grunn av forskjellene ovenfor: KI er immateriell programvare, utviklingen drives av private selskaper snarere enn stater, og den går raskere enn institusjonene kan følge med på. [49][50] Forslagene om et «IAEA for KI» er kontrollordninger for et spaltbart materiale som ikke finnes.

Mitt standpunkt

Skjevheten mellom å oppdage fare og å stoppe en lansering er strukturell, ikke en mangel i regelverket som venter på å bli løst med et bedre rammeverk eller et mer ansvarsbevisst selskap. Evnen til å oppdage har modnet. Samtidig svikter alle virkemidlene for å hindre spredning på hver sin måte. Fysiske brikker slipper gjennom ved smugling, og kontrollen snus av politikken. Lovfestede terskler er avgrenset til bestemte jurisdiksjoner og kan omgås gjennom effektivitetsgevinster. Frivillige forpliktelser strander på unilateralistens forbannelse. Åpne vekter kan ikke tas tilbake, og sikkerhetstilpasningen kan fjernes for to hundre dollar.

Svaret er derfor ikke «forby åpne vekter». Fordelene er reelle, og forbannelsen gjør et forbud både kostbart og nytteløst: Man gir fra seg innsynet og sikkerhetstestingen med angriperperspektiv, mens én optimistisk aktør i utlandet publiserer likevel. De eneste virkemidlene som tåler nærmere granskning, er den fysiske flaskehalsen, regnekraft, så lenge den varer, og bindende verifikasjon før lansering etter EU-modellen: dokumentasjon på sikkerhet før lansering, fremfor egensertifisering etterpå. Begge deler er verdt å gjøre. Ingen av dem er tilstrekkelig. Kontroll med regnekraft som virkemiddel svekkes med en faktor på 3 i året, og verifikasjon kontrollerer det oppgitte, ikke det skjulte.

Den ærlige konklusjonen er derfor ubehagelig. Hvis vi ikke kan hindre spredning pålitelig, kan det ikke være hovedstrategien. Vi bør planlegge for en verden der farlige evner sprer seg, fordi problemets struktur tilsier at de vil gjøre det, og investere i motstandskraft og forsvar, ikke bare adgangskontroll. Selskapene har allerede skrevet diagnosen inn i sine egne retningslinjer: De mest krevende sikkerhetstiltakene er verdiløse med mindre alle innfører dem samtidig, og ingen kan tvinge alle til å gjøre noe.

Vi blir svært gode til å lese varsellampen. Vi har ikke bygget en brems. Arbeidet som teller nå, er arbeidet som tar høyde for at bremsen ikke kommer i tide.

Kilder

  1. International AI Safety Report 2025. https://internationalaisafetyreport.org/publication/international-ai-safety-report-2025
  2. Shevlane mfl., "Model evaluation for extreme risks," arXiv:2305.15324. https://arxiv.org/abs/2305.15324
  3. International AI Safety Report, First Key Update (oktober 2025), arXiv:2510.13653. https://arxiv.org/abs/2510.13653
  4. International AI Safety Report, Second Key Update (november 2025), arXiv:2511.19863. https://arxiv.org/abs/2511.19863
  5. Anthropic, "Activating ASL3 protections" (22. mai 2025). https://www.anthropic.com/news/activating-asl3-protections
  6. Anthropic, Responsible Scaling Policy v3.0 (24. februar 2026), PDF. https://www-cdn.anthropic.com/e670587677525f28df69b59e5fb4c22cc5461a17.pdf (engelsk)
  7. OpenAI, Preparedness Framework v2 (15. april 2025), PDF. https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf (engelsk)
  8. Google DeepMind, Frontier Safety Framework v3.0 (22. september 2025), PDF. https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/strengthening-our-frontier-safety-framework/frontier-safety-framework_3.pdf (engelsk)
  9. Zvi Mowshowitz, "OpenAI Preparedness Framework 2.0." https://thezvi.substack.com/p/openai-preparedness-framework-20
  10. UK AI Security Institute, "Managing risks from increasingly capable open-weight AI systems" (29. august 2025). https://www.aisi.gov.uk/blog/managing-risks-from-increasingly-capable-open-weight-ai-systems
  11. OpenAI, "Sycophancy in GPT-4o: What happened and what we're doing about it" (april 2025). https://openai.com/index/sycophancy-in-gpt-4o/
  12. Lermen, Rogers-Smith, Ladish, "LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B" (2023), arXiv:2310.20624. https://arxiv.org/abs/2310.20624
  13. Meta, "Introducing Llama 3.1." https://ai.meta.com/blog/meta-llama-3-1/
  14. Meta, "Celebrating 1 billion downloads of Llama" (mars 2025). https://about.fb.com/news/2025/03/celebrating-1-billion-downloads-llama/
  15. TechCrunch, "Meta says its Llama AI models have been downloaded 1.2B times" (29. april 2025). https://techcrunch.com/2025/04/29/meta-says-its-llama-ai-models-have-been-downloaded-1-2b-times/
  16. Llama 3 Community License. https://www.llama.com/llama3/license/
  17. DeepSeek-V3 Technical Report, arXiv:2412.19437. https://arxiv.org/abs/2412.19437
  18. Brookings, "DeepSeek shows the limits of US export controls on AI chips." https://www.brookings.edu/articles/deepseek-shows-the-limits-of-us-export-controls-on-ai-chips/
  19. US House Select Committee on the CCP, "DeepSeek Unmasked" (16. april 2025). http://selectcommitteeontheccp.house.gov/media/press-releases/moolenaar-krishnamoorthi-unveil-explosive-report-chinese-ai-firm-deepseek
  20. RAND, "DeepSeek's Lesson: America Needs Smarter Export Controls" (februar 2025). https://www.rand.org/pubs/commentary/2025/02/deepseeks-lesson-america-needs-smarter-export-controls.html
  21. CSIS, "DeepSeek, Huawei, Export Controls, and the Future of the US-China AI Race." https://www.csis.org/analysis/deepseek-huawei-export-controls-and-future-us-china-ai-race
  22. Foundation for American Innovation, "DeepSeek's Success Reinforces the Case for Export Controls." https://www.thefai.org/posts/deepseek-s-success-reinforces-the-case-for-export-controls
  23. Built In, "Trump lifts AI chip ban for China and Nvidia." https://builtin.com/articles/trump-lifts-ai-chip-ban-china-nvidia
  24. FDD, "Rolling Back Export Controls: U.S. Offers China Powerful AI Chips" (10. desember 2025). https://www.fdd.org/analysis/2025/12/10/rolling-back-export-controls-u-s-offers-china-powerful-ai-chips/
  25. Congressional Research Service, R48642. https://www.congress.gov/crs-product/R48642
  26. CNBC, "$160 million of export-controlled Nvidia GPUs allegedly smuggled to China" (31. desember 2025). https://www.cnbc.com/2025/12/31/160-million-export-controlled-nvidia-gpus-allegedly-smuggled-to-china.html
  27. EU AI Act, artikkel 51. https://artificialintelligenceact.eu/article/51/
  28. EU AI Act, artikkel 55. https://artificialintelligenceact.eu/article/55/
  29. International AI Safety Report (forside). https://internationalaisafetyreport.org/
  30. The Bletchley Declaration (1.–2. november 2023). https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-2023
  31. Frontier AI Safety Commitments, AI Seoul Summit 2024. https://www.gov.uk/government/publications/frontier-ai-safety-commitments-ai-seoul-summit-2024/frontier-ai-safety-commitments-ai-seoul-summit-2024
  32. Bostrom, Douglas, Sandberg, "The Unilateralist's Curse and the Case for a Principle of Conformity" (2016). https://nickbostrom.com/papers/unilateralist.pdf (engelsk)
  33. IAEA, Treaty on the Non-Proliferation of Nuclear Weapons. https://www.iaea.org/topics/non-proliferation-treaty
  34. World Nuclear Association, Safeguards to Prevent Nuclear Proliferation. https://world-nuclear.org/information-library/safety-and-security/non-proliferation/safeguards-to-prevent-nuclear-proliferation
  35. Arms Control Association, "Nuclear Weapons: Who Has What at a Glance." https://www.armscontrol.org/factsheets/nuclear-weapons-who-has-what-glance
  36. Council on Foreign Relations, "Four Nuclear Outlier States." https://www.cfr.org/backgrounder/four-nuclear-outlier-states
  37. Chemical Weapons Convention (pressemelding fra OPCW 7. juli 2023). https://www.opcw.org/media-centre/news/2023/07/opcw-confirms-all-declared-chemical-weapons-stockpiles-verified
  38. OPCW and Syria. https://www.opcw.org/media-centre/featured-topics/opcw-and-syria
  39. Arms Control Association, "The Biological Weapons Convention (BWC) At a Glance." https://www.armscontrol.org/factsheets/biological-weapons-convention-bwc-glance-0
  40. Sastry, Heim, Belfield, Anderljung, Brundage, Bengio mfl., "Computing Power and the Governance of Artificial Intelligence," arXiv:2402.08797. https://arxiv.org/abs/2402.08797
  41. Epoch AI, "Algorithmic progress in language models." https://epoch.ai/blog/algorithmic-progress-in-language-models
  42. "Distributed and Decentralised Training: Technical Governance Challenges," arXiv:2507.07765. https://arxiv.org/abs/2507.07765
  43. "Hardware-Level Governance of AI Compute: A Feasibility Taxonomy," arXiv:2604.04712. https://arxiv.org/abs/2604.04712
  44. Centre for Future Generations, "AI governance challenges part 3: proliferation." https://cfg.eu/ai-governance-challenges-part-3-proliferation/
  45. NTIA, "Dual-Use Foundation Models with Widely Available Model Weights." https://www.ntia.gov/programs-and-initiatives/artificial-intelligence/open-model-weights-report
  46. TechCrunch, "OpenAI leaders propose international regulatory body for AI" (22. mai 2023). https://techcrunch.com/2023/05/22/openai-leaders-propose-international-regulatory-body-for-ai/
  47. Anderljung mfl., "Frontier AI Regulation: Managing Emerging Risks to Public Safety," arXiv:2307.03718. https://arxiv.org/abs/2307.03718
  48. "Domestic frontier AI regulation, an IAEA for AI, an NPT for AI, and a US-led Allied Public-Private Partnership for AI," arXiv:2507.06379. https://arxiv.org/abs/2507.06379
  49. Chatham House, "The nuclear governance model won't work for AI" (juni 2023). https://www.chathamhouse.org/2023/06/nuclear-governance-model-wont-work-ai
  50. "The Nuclear Analogy in AI Governance Research," arXiv:2510.21203; AI Frontiers, "Nuclear Non-Proliferation Is the Wrong Framework for AI Governance." https://arxiv.org/abs/2510.21203