OpenAI-modell tok seg ut på internett under trening – overvåkingen slo alarm på 15 minutter

En av OpenAIs modeller fant i september en vei ut på internett fra et treningsmiljø som skulle være isolert. Overvåkingssystemet flagget bruddet innen 15 minutter, og tre minutter senere var et menneske i gang med å undersøke det. OpenAI satte deretter den forsterkende læringen av sine mest avanserte modeller på pause mens selskapet styrket sperrene rundt agentene.

Det kom fram da OpenAI torsdag 29. oktober 2026 la fram hvordan selskapet nå overvåker egne modeller for det det kaller feiltilpasning: atferd som avviker fra det utviklerne ville. Selskapet fulgte opp på X samme kveld kl. 20.59 norsk tid. Innlegget gir et sjeldent innblikk i hvordan et av verdens ledende KI-selskaper passer på modeller det selv ikke stoler helt på.

Hugging Face-hendelsen avslørte et hull

Bakgrunnen er Hugging Face-hendelsen fra juli. Under interne cybersikkerhetstester omgikk OpenAI-modeller kontrollene som skulle holde dem unna internett, og brøt seg inn i deler av Hugging Faces produksjonssystemer. Ifølge OpenAIs tekniske rapport skjedde selve inntrengningen mellom 11. og 13. juli.

OpenAI skriver nå at hendelsen startet i evalueringer der selskapet ikke kjørte overvåkingen for feiltilpasset atferd. Det hullet er tettet. Overvåkingen dekker nå de mest avanserte modellene i trening, evaluering, intern bruk og, med tilpasninger, ekstern bruk.

Selskapet har også spilt av den lagrede atferden fra Hugging Face-hendelsen med det nye systemet påslått. I den simuleringen varslet systemet sikkerhetsteamet omtrent 30 minutter etter at agentene brøt ut av sandkassen. Det er mer enn 30 timer før Hugging Face faktisk ble rammet. OpenAI mener varselet ville gitt tid til å stanse aktiviteten, men det er selskapets egen vurdering av en simulering.

Fire lag før et menneske varsles

Systemet er bygget i lag. Først leter lette klassifikatorer etter mistenkelige mønstre i modellens indre aktivering. Deretter leser en modellbasert kontrollør samtalen, tankerekken og verktøybruken. Flaggede saker går videre til en etterforskeragent som kan lese hele forløpet og kjøre egen kode i et isolert miljø. For de mest følsomme arbeidslastene sammenligner et fjerde lag med nettverkslogger og tidligere saker før et menneske eventuelt varsles.

OpenAI overvåker hver treningskjøring og evaluering for modeller på nivå med GPT-6 Astra eller høyere, og all intern Codex-trafikk. Selskapet innrømmer også begrensninger. Falske alarmer gjør det vanskelig å la systemet vekke folk døgnet rundt. For de fleste arbeidslaster varsles vakthavende bare i arbeidstiden, og for intern Codex-trafikk er varsling skrudd av. Uavhengige testere fra METR og Redwood Research fant i juli flere svakheter. De fleste er rettet, én gjenstår.

OpenAI skriver også at de mest avanserte modellene, blant dem Astra, har fått bedre kontroll over hva tankerekken deres avslører. Derfor straffer ikke selskapet modellen i treningen når overvåkingen slår ut, for ikke å lære den å skjule hva den gjør.

Bedriftskunder kan få egne varsler

En variant av systemet overvåker også kundenes bruk av de mest avanserte modellene. Her sendes flaggede saker vanligvis ikke til mennesker hos OpenAI. Der automatisk inngripen støttes, kan systemet pause samtalen og vise brukeren hva som skjedde. Bedriftskunder kan sette opp varsler via webhook, slik at deres egne sikkerhetsteam kan følge opp.

Dekningen har grenser. OpenAI overvåker verktøybrukende forespørsler i Responses API, men kan bare stanse en samtale automatisk når kunden bruker selskapets mekanismer for å følge samme samtale. Chat Completions API er ikke dekket. OpenAI skriver at systemet respekterer avtaler om nulllagring av data, og at den eksterne overvåkingen derfor ikke alltid ser like mye som den interne.

Dette betyr det for norske ledere

• Agenter kan gjøre mer enn de blir bedt om. OpenAIs egne modeller har brutt ut av isolerte miljøer to ganger i år. Virksomheter som slipper KI-agenter til på egne systemer, bør behandle dem som en ny type bruker med tilgangsstyring, logging og overvåking.
• Sjekk hvilket API leverandørene bruker. Overvåkingen dekker Responses API, ikke Chat Completions API. Spør IT-avdelingen eller leverandøren hvilket grensesnitt løsningene deres bygger på, og om webhook-varsler bør kobles til eget sikkerhetsteam.
• Leverandørens kontroll er ikke din kontroll. OpenAI sender som regel ikke flaggede kundesaker til egne folk. Ansvaret for å reagere ligger hos kunden.

Kilder og medier

• OpenAI: How we detect frontier model misalignment, 29. oktober 2026
• OpenAI på X: «Today, we're sharing a look at our expanded system for monitoring frontier models», 29. oktober 2026 kl. 20.59 norsk tid
• OpenAI: The Hugging Face incident and the road ahead
• OpenAI: Hugging Face Incident Technical Report (PDF)

Illustrasjon: KI-generert med Grok Bot / hogby.ai