AA-AnalystAgent viser hvor upålitelige AI-analytikere fortsatt er

Artificial Analysis har lansert AA-AnalystAgent, en ny agentisk benchmark for kvantitativ analyse på ekte regneark og dokumenter. Det høres smalt ut. Det er det ikke. Dette er en av de mer nyttige målingene akkurat nå for ledere som vurderer om AI-agenter faktisk kan overta analytikerarbeid, økonomimodeller, rapportkontroll og talltunge beslutningsprosesser uten at et menneske må revidere alt etterpå.

Kjernen er enkel: 80 oppgaver, 14 forretnings- og forskningsdomener, fem uavhengige forsøk per modell og 10 400 graderte forsøk totalt. Oppgavene dekker blant annet helserapporter, handels- og råvaretall, hydrologi, offentlige bevilgninger, energikostmodeller, finansmodeller, miljørapportering og prosjektplaner. Modellene får ikke bare et regnestykke. De må finne og tolke kilder, velge metode, bruke verktøy, lese dokumenter og levere et tall som stemmer.

Det viktigste grepet er metrikken pass^5. En oppgave teller bare som løst hvis modellen svarer riktig på alle fem forsøkene. Ikke én gang. Ikke “den klarte det jo nesten”. Alle fem. Det treffer problemet i enterprise-bruk mye bedre enn vanlige leaderboards. For en virksomhet er ikke spørsmålet om en agent kan lage én imponerende demo. Spørsmålet er om den gir samme korrekte konklusjon når den kjøres mandag morgen, tirsdag kveld og etter at inputen er litt annerledes.

Resultatet: de beste er fortsatt bare halvveis

Claude Opus 5 med Adaptive Reasoning og Max Effort leder AA-AnalystAgent med 53,8 prosent pass^5. OpenAI GPT-5.5 xhigh følger med 50,0 prosent. Claude Fable 5 med fallback til Opus 4.8 ligger på 48,8 prosent. Artificial Analysis runder selv dette til 54, 50 og 49 prosent i lanseringsartikkelen.

Det er sterkt, men også en kald dusj. Den beste modellen får altså bare litt over halvparten av oppgavene riktig fem av fem ganger. For styre, CFO, CIO og CISO betyr det at agentisk analyse er nyttig, men ikke “sett den alene på kvartalsrapporteringen”-modent. Den riktige bruken er som akselerator med kontrollpunkter, ikke som autonom fasitmaskin.

Leaderboardet viser også hvorfor pass@1 kan være farlig. GPT-5.5 xhigh har høyest gjennomsnittlig enkeltsuksess, 66 prosent pass@1. Gemini 3.1 Pro Preview og Claude Opus 5 ligger tett bak på 64 prosent. Men Gemini 3.1 Pro Preview løser 81 prosent av oppgavene minst én gang og faller likevel til 41 prosent på pass^5. Det betyr at modellen ofte kan finne riktig svar, men ikke stabilt nok til at virksomheten slipper verifisering.

For ledere er dette poenget. En agent som av og til er briljant, men ikke repeterbar, flytter ikke risiko ut av prosessen. Den flytter den bare til et mer uoversiktlig sted.

Feilmønsteret er mer interessant enn plasseringen

Artificial Analysis klassifiserte 1 567 feilforsøk på tvers av ti ledende modeller. Den vanligste feilen var tidlig låsing til feil hypotese eller feil kildefortolkning. Det dukket opp i 57 prosent av feilene. Modellen finner en plausibel forklaring, bygger videre på den og begynner å forsvare sporet i stedet for å teste det.

Dette er farlig i reell forretningsanalyse. Det ligner ikke på en enkel regnefeil som kan fanges med en totalsjekk. Det ligner mer på en analytiker som har bestemt seg for konklusjonen før alle vedleggene er lest. Da kan svaret se strukturert, metodisk og overbevisende ut, samtidig som grunnantakelsen er feil.

Forskjellene mellom modellene er også nyttige. Artificial Analysis skriver at Gemini 3.1 Pro Preview ofte stoler mer på kildene, men snubler i utførelsen. Grok 4.5 high har motsatt profil: modellen forstår domenespråket bedre, men overstyrer oftere dokumentbevis med egne antakelser. Kimi K3 max, som er beste open weights-modell, misleser domeneuttrykk oftere enn flere av frontier-modellene.

Dette bør påvirke anskaffelse. Man bør ikke bare spørre “hvilken modell scorer høyest?”. Man bør spørre “hvilken feiltype tåler vi minst?”. I finans og compliance er kildeforankring og revisjonsspor ofte viktigere enn rå fart. I intern beslutningsstøtte kan kost og gjennomstrømning veie tyngre, men da må usikkerhet og verifisering bygges inn i flyten.

Open weights er nærmere, men ikke jevnt

Kimi K3 max er beste open weights-modell med 39 prosent pass^5. Det er 15 prosentpoeng bak Claude Opus 5, men klart foran neste åpne modell i testen, DeepSeek V4 Flash Reasoning Max Effort, som ligger på 25 prosent. Artificial Analysis peker på at gapet innad i open weights-feltet nå er større enn gapet mellom Kimi K3 og den lukkede fronten.

Det gjør Kimi-resultatet strategisk viktig. Open weights er ikke lenger bare “billig nok for eksperimentering”. For avgrensede analytikerprosesser kan de være reelle kandidater, særlig der datakontroll, lokal kjøring eller leverandørmakt betyr mer enn toppscore. Men spriket viser også at man ikke kan kjøpe “åpen modell” som kategori. Man må teste konkret modell, konkret arbeidsflyt og konkret risikonivå.

Kostnaden er ikke lineær med kvaliteten

Benchmarken viser store kostforskjeller for samme nivå. Artificial Analysis nevner at Claude Sonnet 4.6 og MiMo-V2.5-Pro begge scorer 20 prosent, men med estimert kost på henholdsvis 1,34 dollar og 0,05 dollar per oppgave. I toppen ligger GPT-5.5 xhigh på 1,15 dollar per oppgave og andre Claude-varianter høyere.

For norske virksomheter er dette mer enn en teknisk detalj. Agentiske analyseoppgaver er ikke som chat. De kan spinne gjennom verktøy, dokumenter, kodekjøring, resonnering og flere runder. Når slike agenter kobles inn i økonomi, innkjøp, kunderapportering eller sikkerhet, kan kostnaden bli en driftsmodell, ikke en lisenslinje.

Den praktiske konklusjonen er å rute smartere. Bruk de dyreste modellene der feil faktisk er dyre. Bruk rimeligere eller åpne modeller på volumoppgaver, forklassifisering, datarydding og kontroller som kan valideres maskinelt. Og mål på oppgavenivå: korrekthet, stabilitet, tid og kost per ferdig beslutningsgrunnlag.

Hva CIO og CISO bør gjøre nå

AA-AnalystAgent er et godt argument for å slutte å evaluere AI-agenter med anekdoter. En agent som skal jobbe med rapporter, regneark, risiko eller kundeinnsikt må testes på gjentakbarhet. Kjør samme oppgave flere ganger. Logg hvilke kilder den bruker. Krev at den skiller mellom funn, antakelser og metodevalg. Og legg inn et eksplisitt steg der den prøver å motbevise sin egen første hypotese før svaret får gå videre.

CISO-vinkelen er like tydelig. Når en agent kan lese dokumenter, hente data og produsere beslutningsgrunnlag, er feil ikke bare et kvalitetsproblem. Det er et governance-problem. Hvem godkjente datakilden? Hvor ble mellomregninger lagret? Kan konklusjonen reproduseres? Hva skjer når modellen låser seg på feil tolkning og likevel leverer selvsikkert?

Den mest modne posisjonen akkurat nå er derfor ikke full autonomi. Det er kontrollerte agentløp med sporbarhet, kosttak, kildekrav og menneskelig godkjenning der konsekvensen er høy. Modellene blir raskt bedre. Men denne benchmarken viser at bedrifter som bygger kontrollsystemet nå, får mer verdi når modellene tar neste hopp.

Kilder og medier

Primærkilde: Artificial Analysis, https://artificialanalysis.ai/articles/aa-analyst-agent Leaderboard: https://artificialanalysis.ai/evaluations/aa-analyst-agent Agent-harness: https://github.com/ArtificialAnalysis/Stirrup Thumbnail: OpenAI Image 2 / hogby.ai