Meta tester ren modellresonnering i fem STEM-olympiader

Meta har publisert en ny resonneringstest som er mer interessant enn enda en løs benchmark-graf: selskapet sier at det meldte AI-modellene sine inn i fem STEM-olympiader og oppnådde gullnivå på tvers av fysikk, matematikk og kjemi.

Ifølge AI at Meta fikk modellene perfekt score på teoridelen av Asian Physics Olympiad og International Physics Olympiad, gullmedalje ved International Mathematical Olympiad, gullmedaljenivå ved International Chemistry Olympiad og gullmedaljenivå ved Romanian Masters of Mathematics. Meta sier samtidig at all verktøybruk var slått av: ingen web-søk, ingen kodekjøring og ingen kalkulator.

Det er akkurat derfor saken fortjener oppmerksomhet. Mange av de mest imponerende agentdemoene vi ser nå er egentlig blandingsprodukter: modellen planlegger, men verktøyene regner, søker, kjører kode, tester og verifiserer. Det kan være svært nyttig i produksjon. Men det gjør det vanskeligere å vite om forbedringen ligger i selve modellen, i agentoppsettet, i verktøytilgangen eller i evalueringen. Metas påstand er smalere og renere: dette skal teste modellens egen evne til lange resonnementer og argumentasjon.

For CIO-er og CISO-er er dette et annet signal enn «ny chatbot er lansert». Hvis ren resonnering faktisk flytter seg raskt, endres kravene til hvilke oppgaver som kan automatiseres uten tung støtte fra eksterne systemer. Analyse av avvik, tekniske rotårsaker, kontraktslogikk, risikovurderinger, matematisk modellering og komplekse beslutningsnotater blir mindre avhengig av at man bygger et stort agentmiljø rundt modellen først.

Men dette bør ikke leses som et blankt kjøpssignal. Meta navngir ikke tydelig hvilken offentlig tilgjengelig modell som står bak hele resultatpakken i X-posten. Selskapet beskriver heller ikke full metode, utvalg, kontrolloppsett eller uavhengig verifikasjon i den korte annonseringen. To av de mest slående fysikkresultatene gjelder teoridelene, ikke komplette konkurranser med laboratoriedel. Det svekker ikke nødvendigvis funnet, men det betyr at innkjøpere ikke bør oversette «gullnivå» direkte til «klar for produksjon» uten egne tester.

Det strategiske poenget er likevel tydelig: frontier-labene flytter konkurransen fra ren språkflyt til kontrollerbar resonnering. Det er også der enterprise-verdien ligger. En modell som kan holde en lang argumentasjonskjede uten å hente hjelp utenfra, kan bli en sterkere partner i beslutningsarbeid enn en modell som bare er god på å skrive pent.

For norske ledergrupper betyr dette tre konkrete ting. Først: evaluer modellene på egne fagproblemer, ikke bare på leverandørens generelle score. Legg inn oppgaver der svaret krever flere mellomsteg, begrunnelse og evne til å si «jeg vet ikke». Andre: skill mellom verktøyfri resonnering og agentytelse med verktøy. Begge er viktige, men de må måles separat. Tredje: krev dokumentasjon på metode og begrensninger før slike resultater brukes i anskaffelse, styrerapportering eller sikkerhetsargumentasjon.

Dette er også relevant for sikkerhet. Bedre resonnering gjør modeller mer nyttige for forsvar, analyse og feilsøking. Samtidig kan sterkere verktøyfri problemløsning gjøre misbruk billigere når modellen først får tilgang til kode, dokumenter eller interne systemer. CISO-spørsmålet er derfor ikke bare «hvor smart er modellen?», men «hvilke sperrer, logger og evalueringskrav har vi før den får handle?».

Min vurdering: dette er en høy-signal eval-nyhet, men ikke en ferdig produktlansering. Den forteller at Meta vil måles på dyp resonnering, og at kampen om neste generasjon modeller i større grad handler om problemløsning under stramme vilkår. Det er akkurat den typen utvikling ledere bør følge, fordi den peker mot hvilke kunnskapsoppgaver som snart kan flyttes fra menneskelig kø til kontrollert AI-assistanse.

Kilder og medier

Primærkilde: AI at Meta, https://x.com/AIatMeta/status/2085388945148297322

Thumbnail: OpenAI Image 2 / hogby.ai