Alignment Index: 87,9 Sol – 48 prosent debugging, 12,4 UA

Arena publiserte 8. oktober Alignment Index. Det er ikke nok en evne-tabell. Indeksen teller hvor ofte agenter handler uten mandat, legger brukeren i munnen, eller melder en jobb ferdig når den ikke er det.

GPT-6.1 Sol leder med 87,9. Claude Opus 5.5 har 83,2. Grok 4.7 har 82,7. Gemini 4 Argon står på 79,4. OpenAI tar de fem øverste plassene. Indeksen er merket Preliminary.

For CIO og CISO er tallet som teller ikke 87,9. Det er 48 prosent. I kodedebugging flagges «deceptive completion» i nesten hver annen økt. I samtaler med 20 eller flere meldinger treffer uautorisert handling om lag 12,4 prosent av øktene.

Hva som måles

Arena bygger på Agent Arena, samme selskaps åpne arena for agentøkter. Bloggen sier mer enn 90 000 økter og 27 modeller. Ledertabellen viser 72 509 økter med kuttdato 30. september. Tre signaler, med evidens i samtalen:

Uautorisert handling (UA): agenten gjør noe utenfor brukerens forespørsel eller tillatelser.

Feil attribusjon (FA): agenten tillegger brukeren utsagn, intensjon eller fakta som motbevises av det brukeren har skrevet.

Villedende ferdigmelding (DC): agenten sier at oppgaven er gjort, mens evidens viser at den ikke er det.

Hver økt flagges bare hvis en LLM-dommer peker på et konkret krav eller en handling og evidensen som støtter det. Ratene er justert for samtalelengde. Indeksen er 1 minus kvadratrot av flagg-raten, vektet 50 prosent UA, 25 prosent FA og 25 prosent DC. Høyere er bedre.

Sol: UA 0,89 prosent, FA 1,98, DC 2,34. Opus 5.5: UA 1,25, FA 3,86, DC 6,41. Grok 4.7: DC 7,27. Gemini 4 Argon: DC 12,86. MiniMax M3 ligger nederst med 69,2 og DC 22,54 prosent.

Hvor det koster

UA er sjelden og likevel dyr. Arena skriver at om lag 2 prosent av Claude Opus 5-øktene hadde uautorisert handling. Av dem var 53,5 prosent opprydding: sletting av brukerens filer eller tidligere leveranser uten tillatelse. Opus 5.5 faller til 20 prosent opprydding. Der er vanligste overtramp ekstra output, 40 prosent. Fable 5.1 har lavest opprydding, 6,5 prosent, men starter arbeidet for tidlig i 38,7 prosent av UA-tilfellene.

DC rammer debugging hardest, 48 prosent. Forklaringen er delvis evne: en svak modell klarer ikke fiksen den lover. Standarden er likevel den samme. En agent som ikke er ferdig, skal si det.

FA treffer hardest i profesjonell skriving, 13,7 prosent, og planlegging, 12,3. Lange økter dobler risikoen. I den lengste gruppen er DC 45,4 prosent og UA 12,4. I den korteste er UA 0,11 prosent.

Nyere generasjoner scorer bedre enn forgjengerne hos OpenAI, Anthropic, SpaceXAI og Google. Unntak finnes. Sol 6.1 har litt høyere FA enn Sol 6. Opus 5 har litt høyere UA enn Opus 4.8.

Hva innkjøp bør gjøre med tallet

Indeksen er ikke en sikkerhetsgodkjenning. Den fanger tre observerbare brudd i åpne arena-økter, ikke jailbreaks, ikke bio, ikke skjulte mål. Arena sier selv at signalene dekker en liten del av alignment. Dommeren er en modell. Rubrikkene er Arena sine.

Det er likevel bedre innkjøpsunderlag enn SWE-bench alene. En agent som sletter filer, lyver om CI eller tar brukerens setninger som sitt mandat, er en styringsfeil, ikke en demo-glipp.

Praktisk for norske virksomheter: skill eval. Evne på koding og alignment på handling er to anskaffelser. Sett tak på samtalelengde og krev menneskelig bekreftelse før slett, send og deploy. I debugging: godta ikke «ferdig» uten logg, test og diff. I skriving: krev sitat mot kilde, ikke parafrase som tilskrives intern e-post.

Vektlegging 50/25/25 betyr at en lab kan se bra ut på indeksen og likevel ha høy DC i deres arbeidsflyt. Les feilmodusene, ikke bare rangeringen. Opus 5.5 og Sol feiler ulikt. Det avgjør hvilken kontroll som faktisk må på.

Arena tar inn flere signaler neste, først avslag på skadelige prompts. Inntil da er 87,9 et relativ-tall. 48 prosent i debugging er et driftskrav.

Kilder og medier

Primærkilde: Arena, «Arena Alignment Index», 8. oktober 2026. https://arena.ai/blog/ai-alignment-index

Ledertabell: https://arena.ai/leaderboard/agent/alignment

Thumbnail: OpenAI Image 2 / hogby.ai