Anthropic: Claude leder 26 prosent av labens AI-R&D

Anthropic slipper ikke en ny Claude-modell. Laben publiserer tre målinger av hvordan neste modell faktisk bygges: hvor mye av AI-R&D Claude gjør selv, hvor godt agentene overvåkes, og hvor computen går. Tallene er fra innsiden av Anthropic. For CIO og CISO er poenget styring, ikke en ny poengsum på en benk.

Hva laben faktisk måler

Anthropic kaller det verktøy for å følge tempoet i frontier-utvikling. De tre målene er andel AI-ledet R&D, overvåking av agenter, og fordeling av compute. Laben sier tallene ville flyttet seg hvis verden ble enige om å pace frontier, slik administrerende direktør Dario Amodei har bedt om.

Målingene skal utfylle kapabilitetsevalueringer i Responsible Scaling Policy. De handler om produksjonsprosessen, ikke om hva modellen kan på en offentlig test. Anthropic planlegger å slippe inn uavhengige tredjepartsevaluatorer med tilgang på linje med interne risikoteam, og ber andre frontier-laber publisere de samme tre tallene.

26 prosent leder, over 90 prosent samarbeider

Per august 2026, på Epoch AIs automatiseringsskala fra AL0 til AL5:

Claude opererer ikke fullt autonomt, AL5, på noen målt del av AI-R&D.

Claude «leder» 26 prosent av arbeidet, AL4: de fleste stegene fra et overordnet prompt, med et menneske som overvåker.

Andelen arbeid på eller over «AI samarbeider», AL3, er over 90 prosent.

AL4 er ikke AL5. I labens eget eksempel fikser Claude en ødelagt nattlig datapipeline, tester og skriver rapport. Den deployer ikke. Ingeniøren leser, spør og bestemmer om det går ut i natt.

Indeksen er bygget nedenfra. Claude-agenter leste Slack og intern dokumentasjon for et 20-prosentsutvalg av R&D-ansatte hver uke i juli 2026. Det ga rundt 15 000 oppgaver, organisert i et tre med 542 noder og 378 blader. Treet er frosset, slik at senere målinger skjer mot samme kurv med arbeid.

Dommermodellen er Claude. Den var enig med mennesker i 59 prosent av tilfellene på eksakt nivå. Mennesker var enige med hverandre i 35 prosent. 97 prosent av ratingene lå innen ett nivå. Laben innrømmer at skillet mellom «samarbeider» og «leder» er uklart i grensetilfeller. Dette er egne modeller som vurderer eget arbeid.

30 000 agenter, én milliard beslutninger

På den mest brukte interne plattformen kjørte om lag 30 000 agenter forsknings- og ingeniørarbeid samtidig i august 2026. Målingen dekker bare denne plattformen.

Alle handlingene går gjennom en online-monitor før de utføres, vanligvis på sekunder. Alle logges også etterpå. Online-monitoren skal stoppe skade som ikke kan reverseres, for eksempel at en agent kopierer modellvekter ut av systemene. Offline-monitoren skal fange langsommere signaler, som tegn på misalignment.

Anthropic analyserte over én milliard beslutninger i august. 0,002 prosent ble blokkert, om lag 1 av 47 000. Mennesker skal se blokkerte handlinger innen én uke.

Offline flagges rundt 100 000 transkripter i uken. De fleste siles av klassifikatorer. Om lag 50 i uken går til menneske. Monitoren flagger én til to av tusen transkripter for videre sjekk.

For CISO er det to tall som sitter: dekningen er 100 prosent på denne plattformen, og menneskelig gjennomgang av det som ble stoppet kan ta en uke. 50 prioriterte saker i uken er et SOC-volum, ikke en labhistorie. METR har tidligere rødteamet offline-monitoren. Anthropic viser til at de samme målene også ligger i den siste risikorapporten.

6 prosent av R&D-computen til sikkerhet

I uken 13. til 20. juli gikk om lag 6 prosent av compute som gikk til AI-R&D til sikkerhet. Av compute som gikk til AI-drevet AI-R&D var andelen om lag 12 prosent.

Estimatene er bevisst konservative. Tokens som både flytter kapabiliteter og sikkerhet telles ikke som sikkerhet. Safeguard-klassifikatorer er holdt utenfor, og laben sier de utgjør en sammenlignbar mengde compute.

Compute er et dårlig mål på innsats. Sikkerhetsforskning er ofte tidkrevende design av eksperimenter, ikke store treningskjøringer. En mer effektiv klassifikator senker andelen uten at arbeidet blir mindre. Målingen er ett ukesutsnitt i en felles, flytende compute-pool, ikke et budsjettvedtak.

Hva det betyr for innkjøp

Dette er Anthropics egne tall, på Anthropics egne agenter, med Anthropics egne modeller som dommer. Laben ber andre frontier-laber publisere det samme, med metode som tåler tredjepart.

For en norsk CIO er spørsmålet til OpenAI, Google og de kinesiske labene det samme: Hvor stor andel av neste modell bygges av agenter? Hva dekker monitorene, før og etter handling? Hvor lang er tiden fra blokkering til menneske? Hvor stor andel av R&D-computen går til sikkerhet, med en definisjon som tåler revisjon?

26 prosent «leder» er ikke selvlæring ferdig. Det er AL4 med menneske på deploy. Over 90 prosent samarbeid betyr at laben allerede kjører AI som standardverktøy i modellutviklingen. 30 000 agenter med 1-av-47 000 blokkering er et sjeldenthetsproblem: ved millioner av agenter skjer det sjeldne ofte.

Ikke kjøp historien som et systemkort for Fable eller Mythos. Kjøp den som et krav i neste leverandørvurdering.

Kilder og medier

• Primærkilde: Anthropic, «Measurements for understanding the pace of AI development inside frontier labs»: https://www.anthropic.com/institute/measuring-pace-of-ai-development
• Thumbnail: OpenAI Image 2 / hogby.ai