LAB-AA v1.1: 9,4 prosent – Grok 4.7, 60 prosent faller

Artificial Analysis og Harvey legger 8. oktober hallusinasjonsport på Legal Agent Benchmark. Ny overskrift: Hallucination-Gated All-Pass Rate. En oppgave teller bare når leveransen treffer alle rubrikkpunkter og ikke inneholder en materiell hallusinasjon. Grok 4.7 (xhigh) leder med 9,4 prosent. Muse Spark 1.3 (max) har 8,9. GPT-6 Astra (max) har 8,6. Over 60 prosent av ellers godkjente resultater i lanseringssettet har en materiell hallusinasjon.

For CIO og CISO er 9,4 prosent det relevante tallet, ikke 26,7. Uten porten leder Muse. Med porten faller to tredjedeler av de passene. Ingen modell i tabellen erstatter en advokat.

Hva som er nytt

v1.1 er ikke en ny modell. Det er ny scoring. Harveys studier med jurister viser at hallusinasjon er det som skiller to ellers dekkende svar. Artificial Analysis har derfor lagt inn en to-trinns sjekk mot kildedokumentene, tre LLM-dommere på rubrikken, og Harveys oppdaterte private datasett (v1.1.0). Tallene er ikke sammenlignbare med v1.0.

120 private oppgaver. 24 praksisområder. M&A, kapitalmarkeder, skatt, tvist, konkurs. Agenten får partnerinstruks og saksdokumenter i sandbox. Leveransen er et juridisk produkt, ikke et quiz-svar.

Dommerpanelet: GPT-6 Sol, Grok 4.7 og Claude Opus 5.5. Snitt av tre. Laben skriver at de fant minimal selvpreferanse. Hallusinasjonssjekken kjører separat med GPT-6 Sol (high) i to pass: først flagg, deretter bekreftelse mot kildene. Tre kategorier: motstrid mot kilden, oppdiktet kildemateriale, og konkrete påstander uten dekning i dokumentene. Generell juss utenfor saksfilene straffes ikke.

AA kjører på Stirrup-harness, ikke Harveys egne verktøy og dokument-scripts. Filnavn må treffe eksakt. Det måler rå modell, ikke Harvey-produktet.

Tallene 8. oktober

Grok 4.7 (xhigh): 9,4 prosent gated, 92,8 prosent kriterier, 0,74 materielle hallusinasjoner per oppgave, 9,49 dollar per oppgave.

Muse Spark 1.3 (max): 8,9 gated, 26,7 uten port, 96,0 prosent kriterier, 1,68 materielle per oppgave, 4,21 dollar. Billigst i toppen. Mister to av tre pass.

GPT-6 Astra (max): 8,6 gated, 8,9 uten port. 0,03 materielle per oppgave. Fire funn på 120 oppgaver. 13,67 dollar. Flytter fra delt tiende til tredje når porten slår inn.

GPT-6.1 Sol (max): 6,9, ned fra 7,5. 2,48 dollar per oppgave.

Claude Fable 5.1 (max, fallback på, aldri brukt): 6,4 prosent. 21,73 dollar. Dyrest i toppen.

Kimi K3 (max): 5,3, ned fra 16,7 uten port.

Claude Opus 5.5 (max, fallback): 4,2.

GPT-6 Sol: 0,07 materielle per oppgave, åtte på 120. GPT-6-familien er den mest jordnære i settet. Gemini 3.8 Flash (high) har 13,96 materielle per oppgave. Alle åpne vekter i settet har minst 2,09 materielle per oppgave. GLM-5.3 (max) faller fra 13,9 til 0,3 når porten er på.

16 modeller treffer 85,6–96,0 prosent av rubrikkpunktene. De skriver nesten ferdig. De dikter opp dato, beløp eller part. Det er det porten straffer.

Materiell: feil som ville villedet en leser på et substansielt punkt, for eksempel feil kontraktsdato, feil part, feil beløp eller feil plikt. Mindre feil telles, men nuller ikke oppgaven.

Hva det betyr

Juridisk agentarbeid er ikke mettet. Under 10 prosent full pass med hallusinasjonsport. Flere modeller lander på 0 etter porten. Høy rubrikkdekning og lav hallusinasjon er to ferdigheter. Muse leder på dekning. Astra leder på grounding. Grok vinner kombinasjonen, knapt.

Kostnad er ikke det som skiller vinneren. Grok koster under halvparten av Fable. Muse er billigere enn Grok og taper på grounding. Astra er dyrere og nesten uten materielle funn. Sol 6.1 er billigst blant de som fortsatt scorer.

For EØS: dette er amerikansk lab-eval på et privat Harvey-sett. Ingen geo, ingen DPA, ingen residens i tabellen. Ikke trekk inn produksjon i EØS ut fra denne rangeringen.

For CISO og general counsel: en agent som treffer 90 prosent av rubrikken og hallusinerer beløp, er ikke nesten ferdig. Den er underkjent. Ikke sett den løs på datarom uten menneske på utkastet. Mål materiell hallusinasjon per sak, ikke bare «kriterier passert».

Begrensningene er åpne: privat sett, LLM-dommere, Stirrup uten Harveys verktøy, tre-dommer-snitt, GPT-6 Sol som hallusinasjonsdommer. AA sammenlignet seks kandidater på 20 oppgaver. Fremtidige versjoner skal ta stil og tone.

Kilder og medier

Primærkilde: Artificial Analysis, «Announcing Harvey LAB-AA v1.1: adding hallucination checks to raise the bar for agentic legal work», 8. oktober 2026: https://artificialanalysis.ai/articles/harvey-lab-aa-v1-1

Live-tabell: https://artificialanalysis.ai/evaluations/harvey-lab-aa

Thumbnail: OpenAI Image 2 / hogby.ai