OpenAI viser hvorfor agentmålinger kan lure ledelsen

OpenAI flytter debatten fra modell til arbeidsform

OpenAI har publisert en teknisk gjennomgang av hvorfor GPT-5.6 Sol først så svak ut på ARC-AGI-3, og hvorfor bildet endret seg kraftig da evalueringsoppsettet ble justert til å ligne mer på hvordan modellen faktisk brukes i ChatGPT, Codex og Responses API.

ARC-AGI-3 er en benchmark der AI-agenter skal utforske ukjente 2D-spill og finne ut av reglene uten eksplisitte instruksjoner. Det er en nyttig test fordi den presser modellen på læring over tid, romlig resonnering, strategi og evnen til å bygge videre på tidligere forsøk. Dette er nettopp de egenskapene mange virksomheter håper å få ut av kodeagenter, analyseagenter og interne arbeidsflytagenter.

OpenAIs funn er ikke bare at GPT-5.6 Sol gjorde det bedre. Det viktigste er hvorfor. Den offisielle harnessen kastet private resonnementer etter hver handling og brukte rullerende truncation når historikken ble for stor. Modellen kunne se noe av tidligere handlinger, men mistet tankene, hypotesene og strategien som hadde ledet frem til dem. Etter hvert mistet den også eldre handlinger. Effekten var at modellen måtte starte på nytt igjen og igjen.

Da OpenAI kjørte testen gjennom Responses API med retained reasoning og context compaction, steg scoren på den offentlige ARC-AGI-3-settet fra 13,3 prosent til 38,3 prosent. Samtidig brukte modellen omtrent seks ganger færre output-tokens. OpenAI beskriver dette som rundt tre ganger bedre score med seks ganger lavere outputbruk.

For en CIO eller CISO er dette mer interessant enn enda en tabell med modellnavn. Det sier at agentkvalitet i praksis ikke kan leses rett ut av en modell-leaderboard. Arkitektur rundt modellen, minne, verktøykall, kontekstbevaring, komprimering, observasjonsformat og retry-logikk kan være forskjellen på en agent som virker dum og en agent som faktisk lærer underveis.

Hva som faktisk ble endret

OpenAI peker på to konkrete endringer. Først beholdt de modellens resonnement over flere turer ved å bruke Responses API på en måte som lar tidligere response-ID føre reasoning videre. Det betyr ikke at brukeren får se private tankeprosesser. Det betyr at modellen får arbeide med en stabil intern arbeidsflate i stedet for å rekonstruere strategien fra korte notater etter hvert trekk.

Deretter byttet de ut rullerende truncation med compaction. Rullerende truncation er den brutale varianten: når konteksten fylles, faller gamle meldinger ut. For mennesker tilsvarer det å føre et prosjektmøte der tavlen vaskes i ene enden mens teamet jobber i den andre. Compaction forsøker i stedet å bevare det viktige i en komprimert form, slik at agenten kan fortsette med mer av læringen intakt.

OpenAI skriver at GPT-5.6 Sol med bedre minne brukte mindre tid på å tenke før hver handling fordi den ikke måtte tolke spillet fra bunnen hver gang. Den lærte mer sammenhengende over tid og kunne holde på strategier. Det er samme mønster virksomheter møter når de forsøker å bruke agenter til migrering, feilsøking, revisjon, prosessanalyse eller sikkerhetsarbeid. Uten god tilstandshåndtering ser agenten ofte smart ut i korte demoer, men roter seg bort i lange oppgaver.

Denne saken er derfor en eval-nyhet, men også en styringsnyhet. Ledere som kjøper AI-plattformer bør spørre mindre om hvilken modell som står på boksen, og mer om hvordan leverandøren håndterer arbeid over tid. Kan agenten bevare nyttig kontekst? Komprimerer den trygt? Skiller den mellom observasjoner, hypoteser, beslutninger og handlinger? Kan den forklare hva som ble gjort uten å lekke sensitive resonnementer? Og kan teamet måle dette på egne oppgaver, ikke bare på leverandørens demo?

Benchmarken må ikke bli en falsk trygghet

OpenAI er også tydelige på en ubehagelig side ved benchmark-kulturen: evaler måler sjelden modellen isolert. De måler en pakke av modell, API-valg, harness, prompt, verktøy, kontekstpolicy og scoring. Det gjør ikke ARC-AGI-3 ubrukelig. Tvert imot. Det gjør testen mer relevant, fordi virkelige agenter alltid er systemer, ikke rene modellkall.

Men det betyr at ledere bør være forsiktige med å oversette en score direkte til anskaffelsesbeslutning. En modell kan prestere svakt hvis den evalueres med feil arbeidsform. En annen kan prestere sterkt i en optimalisert harness, men falle sammen i virksomhetens egne prosesser hvis plattformen mangler governance, logging, rettighetsgrenser eller robust feilretting.

Dette er spesielt viktig for sikkerhets- og compliance-team. Når agenter får tilgang til kodebaser, interne dokumenter, kundedata, tickets og produksjonsverktøy, er minne ikke bare et kvalitetsproblem. Det er også et risikoproblem. Agenten må kunne holde på relevant kontekst uten å dra med seg unødvendige sensitive data. Den må kunne komprimere uten å dikte. Den må kunne fortsette en lang oppgave uten å miste beslutningsgrunnlaget. Og den må kunne stoppes, revideres og startes igjen uten at tilstanden blir uforståelig.

OpenAI anbefaler utviklere som vil hente ut maksimal ytelse fra GPT-5.6 å bruke Responses API fremfor legacy Chat Completions, beholde resonnement og bruke compaction. Det er en klar produktretning: frontier-modeller blir mer avhengige av riktig runtime. Den praktiske kvaliteten sitter ikke bare i vektene, men i hele løkken rundt modellen.

Lederkonsekvensen

Dette bør endre hvordan virksomheter tester AI-agenter i 2026. En god pilot bør ikke bare spørre om agenten klarer første deloppgave. Den bør måle om agenten blir bedre etter ti, femti og hundre steg. Den bør se på tokenbruk, feilrate, evne til å hente seg inn, kvalitet på oppsummeringer, håndtering av gamle beslutninger og hvor lett et menneske kan overta.

For kodeagenter betyr det at en benchmark på enkeltoppgaver ikke holder. Se på lange pull requests, refaktorering over flere moduler, migrasjoner med avhengigheter, testfeil som krever hypotesebygging og oppgaver der agenten må holde krav, begrensninger og tidligere funn samtidig. For analyseagenter betyr det at de må testes på saker der kildene endrer seg, motstrider hverandre eller blir for mange til å lime inn i én prompt. For sikkerhetsagenter betyr det at de må kunne følge spor over tid uten å eskalere falske funn ukritisk.

OpenAIs ARC-AGI-3-resultat er derfor ikke et enkelt «GPT-5.6 er bedre enn X»-poeng. Det er et signal om at agentmarkedet modnes. Den neste konkurransen handler mindre om chat-svar og mer om operasjonell hukommelse, kontrollert kontekst og målbar fremdrift i lange oppgaver.

Det er gode nyheter for virksomheter som bygger seriøst. Dårlige, overfladiske demoer blir lettere å avsløre. Gode plattformer kan vise hvordan de faktisk organiserer arbeid. Og innkjøpere får et mer presist spørsmål å stille: viser dere modellens rå IQ, eller viser dere et system som kan jobbe trygt over tid?

Kilder og medier

Primærkilde: OpenAI, «How enabling two settings tripled our scores on the ARC-AGI-3 benchmark», https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores

Thumbnail: OpenAI Image 2 / hogby.ai