Hugging Face gjør agentrepro til ny AI-eval

Hugging Face har avsluttet ICML 2026 Agents Reproduction Challenge med et tallsett som bør få AI-ledere til å løfte blikket fra vanlige benchmark-tabeller: mer enn 1 200 deltakere og agentoppsett, over 2 000 reproduserte eller falsifiserte papers, rundt 13 000 repos og omtrent 3 TB med artefakter. Det er ikke en modell-lansering i klassisk forstand. Det er mer interessant enn som så: en offentlig stresstest av hvordan AI-agenter kan brukes til å kontrollere om AI-forskning faktisk holder vann.

Hugging Face presenterte oppsummeringen i sin offisielle sending «How AI agents reproduced ICML 2026 papers». Selskapet beskriver arbeidet som trolig det største forsøket på å reprodusere en stor AI-konferanse. Challenge-siden sier eksplisitt at målet var å reprodusere de store påstandene i ICML 2026-papers, også når offisiell kode, datasett eller checkpoints manglet. Deltakerne skulle publisere scripts, logger, genererte datasett, checkpoints og mellomartefakter til Hugging Face Hub, ikke bare skrive en pen rapport.

Det er akkurat her nyheten blir relevant for CIO, CISO og teknologiledelse. Det svake punktet i mange AI-beslutninger er ikke at modellene scorer for lavt på én bestemt test. Det er at organisasjonen kjøper en modell, et agentprodukt eller en plattform uten å vite om påstandene bak faktisk kan gjentas. Hugging Face og alphaXiv forsøker å gjøre reproduserbarhet til en arbeidsflyt: claim for claim, loggbok for loggbok, med sporbar kode og kjøringer.

Hva som faktisk ble testet

Challenge-guiden beskriver en strengere form enn typisk «agent demo». En agent eller deltaker skulle velge et ICML-paper, identifisere konkrete påstander og forsøke en reell reproduksjon. For empiriske claims skulle det kjøres minst ett skalert eksperiment når det var praktisk mulig. Hvis man bare brukte en toy-setup, måtte det merkes som toy og ikke selges som full reproduksjon. Resultatet skulle ligge i en Trackio-loggbok, lesbar både for mennesker og for neste agent som plukker opp arbeidet.

Dette er viktig fordi mye av AI-evaluering fortsatt er altfor lett å pynte på. Et modellkort kan vise en høy score. En leverandørdemo kan vise et vellykket case. Men reell produksjonsrisiko ligger i detaljene: hvilken kode ble kjørt, hvilken data ble brukt, hvilke feilstier ble ikke vist, og hvor mye av resultatet tåler en ny kjøring? Når et økosystem tvinger frem åpne loggbøker, raw-resultater og artefakter, flyttes eval fra presentasjon til revisjon.

En deltakerblogg på Hugging Face beskriver også en automatisk dommer bygget rundt GLM-5.2, der verifiserte eller falsifiserte claims får høyest uttelling, delvise reproduksjoner får mindre, og uklare funn gir null. Det er ikke perfekt. Ingen slik dommer er fasit. Men designet peker mot en praktisk retning: AI-eval blir mer som supply-chain-kontroll enn som produktmarkedsføring. Du trenger sporbarhet, kriterier og negativ evidens, ikke bare en vinnerliste.

Lederpoenget: agentene blir kontrollør, ikke bare produsent

De siste to årene har mye av agentdiskusjonen handlet om produktivitet: kode raskere, skrive mer, automatisere support, bygge småapper. Hugging Face-caset viser en mer moden bruk: agenter som hjelper med å kontrollere andre AI-resultater. Det er et bedre styringssignal enn enda en demo av en agent som klikker rundt i en nettleser.

For virksomheter betyr dette tre ting. Først: krav til AI-leverandører bør bevege seg fra «hvilke benchmarks vinner dere?» til «hvilke claims kan reproduseres, av hvem, og med hvilke artefakter?». Andre: interne AI-team bør lagre eval-kjøringer på en måte som tåler revisjon. Tredje: innkjøp av agentplattformer bør vurdere observability, loggbøker og eksport av artefakter like høyt som modellvalg. Den beste modellen i et lukket, uetterprøvbart harness kan være et dårligere enterprise-valg enn en litt svakere modell med skikkelig revisjonsspor.

CISO-vinkelen er like tydelig. Når agenter får lov til å kjøre kode, hente data og produsere beslutningsgrunnlag, trenger sikkerhetsteamet bevis for hva som faktisk skjedde. Ikke et sammendrag skrevet etterpå. Kjøringslogger, avgrensede tillatelser, artefakter og repeterbare kommandoer. Challenge-oppsettet er forskning, men mønsteret ligner det som bør inn i enterprise AI-governance.

Ikke overselg det

Dette betyr ikke at AI-agenter nå kan overta fagfellevurdering. Det betyr heller ikke at et automatisert dommersystem alene kan avgjøre vitenskapelig sannhet. Reproduksjon er full av vanskelige valg: data kan mangle, kode kan være ufullstendig, claims kan være uklare, og små eksperimenter kan gi feil konklusjon. I tillegg får en konkurranse alltid seleksjonseffekter. Deltakere velger ofte papers som kan gi poeng, ikke nødvendigvis de viktigste eller vanskeligste arbeidene.

Men nettopp derfor er denne nyheten nyttig. Den gjør svakhetene synlige. I stedet for at reproduserbarhet blir en akademisk ettertanke, blir den en operasjonell prosess med loggbøker, artefakter, scoring og offentlig innsyn. Det er mye nærmere hvordan AI bør styres i selskaper som faktisk skal leve med modellrisikoen.

Hva norske ledere bør ta med seg

Hvis du kjøper eller bygger AI i 2026, bør du ikke bare spørre hvilken modell som er smartest. Spør hvordan påstandene testes. Kan leverandøren vise rå eval-resultater? Kan dere kjøre testene på egne data? Kan en uavhengig part reprodusere de viktigste claimene? Finnes det sporbarhet fra prompt, verktøybruk og data til konklusjon? Og blir negative resultater tatt vare på, eller forsvinner de i presentasjonsdekket?

Hugging Face sin ICML-reproduksjon er derfor et signal om modenhet i markedet. Agentene skal ikke bare produsere mer. De skal også gjøre AI-økosystemet mer etterprøvbart. Det er mindre sexy enn en ny modell med høyere score. Det er også langt mer nyttig for ledere som må stå ansvarlig når AI går fra pilot til kritisk arbeidsflyt.

Kilder og medier

Primærkilde: Hugging Face, https://www.youtube.com/watch?v=8qpEDpNhzWY

Challenge-guide: Hugging Face og AlphaXiv, https://huggingface.co/ICML-2026-agent-repro/challenge

Bakgrunn/case: Hugging Face-blogg, https://huggingface.co/blog/ParetoOptimal/hackathon-lessons-so-far

Thumbnail: OpenAI Image 2 / hogby.ai