AA-3D: Sonnet 1194 – top fire uavgjort, Luna 0,20 dollar

Artificial Analysis åpner 12. oktober AA-3D, en Elo-benk for interaktive 3D-scener. 21 modeller får samme brief, samme sandbox og inntil tre timer. De skal levere én three.js-side. Et rekruttert panel stemmer blindt. Claude Sonnet 5.5 (max, fallback) leder med 1194 Elo. Claude Opus 5.5 har 1190. GPT-6 Astra har 1165. Claude Fable 5.1 har 1131. De fire øverste er statistisk uavgjort: 95 prosent konfidensintervall overlapper.

For CIO er kostnaden like relevant som Elo. En scene koster fra 0,20 til 32,08 dollar. GPT-6 Luna (max) ligger åttende med 1000 Elo og 0,20 dollar. GPT-6 Sol (max) er femte med 1123 Elo og 3,46 dollar, billigst i toppen. Sonnet koster 15,18 dollar, 4,4 ganger Sol. Fable koster 9,3 ganger Sol. Kimi K3 bruker 68 ganger Lunas pris for omtrent samme Elo.

Hva som måles

55 briefs i sju domener: landemerker, maskiner, naturfenomener, levende kropper, spill og pilotering, rom, og historier. Briefen sier hva scenen skal vise og hvordan brukeren interagerer. Implementeringen er modellens.

Hver modell kjører i Stirrup, AAs åpne harness. Offline. Ingen nett. Ett forsøk per oppgave. Inntil 250 turer eller tre timer. 4 CPU-kjerner, 8 GB RAM, ingen GPU. WebGL rendres i programvare. Verktøy: three.js 0.186.0, Rapier 0.20.0, Blender 4.5, Python 3, Node.js 22, headless Chromium. Valgfritt CC0-bibliotek. Leveransen er én HTML-side med assets, inntil 200 MiB.

Elo kommer kun fra det rekrutterte panelet. Offentlige stemmer på AA-3D Voting telles ikke. Hver scene må ses i minst 30 sekunder. Omtrent hver fjerde sammenligning er kvalitetssjekk. Scener som ikke laster, tegner blankt eller krever nett, er ute før avstemning. Over 10 000 stemmer fra over 1 000 panelister.

Tallene 12. oktober

Claude Sonnet 5.5: 1194. Claude Opus 5.5: 1190. GPT-6 Astra: 1165. Claude Fable 5.1: 1131. GPT-6 Sol: 1123. GPT-6.1 Sol: 1114. Muse Spark 1.3: 1035. GPT-6 Luna: 1000. Claude Haiku 5.5 og Grok 4.7 (xhigh): 994. Kimi K3: 982. MiMo-V2.6-Pro: 977. Gemini 3.8 Flash (high): 965. Qwen3.8 Max (0902): 948. GLM-5.3-Flash: 931. Mistral Large 4 Preview: 868. Step 5 Preview: 848. GLM-5.3 (max): 782. MiniMax-M3: 739. Inkling (xhigh): 579. Nemotron 3 Ultra: 569.

Beste åpne vekter, Kimi og MiMo, er 11. og 12. Over 200 Elo bak Sonnet. Muse Wonder er ikke i v1.0. Spark 1.3, seks uker eldre, er sjuende.

Toppmodeller ser på eget arbeid tidlig. Median 10 til 13 turer. Innen tur 20 i minst 89 prosent av scenene. Spearman 0,82 mot Elo. MiniMax-M3 ser 54 ganger per scene, men bare i 7 prosent innen tur 20. Den er 19.

Intelligence Index forklarer mye: Pearson 0,92, omtrent 18 Elo per indeks-poeng. Luna og Sol slår trenden med 141 og 93 Elo. GLM-5.3 ligger 197 under. Den er tekst-only, som Nemotron 3 Ultra. GLM-5.3-Flash, som kan se bilder, ligger 149 Elo over GLM-5.3 med lavere indeks.

Inn-tokens er 69 prosent av kostnaden. Agenten sender hele konteksten på nytt hver tur. 82 prosent av verktøytiden er nettlesertester. Topp fem har 15 til 20 synlige knapper, bunn tre har 6 til 8. Pearson 0,90 mot Elo.

Hva det betyr

AA-3D er ikke CAD, digital tvilling eller produksjons-3D. Det er interaktive nettsider i sandbox uten GPU. Ikke trekk inn Unreal, PLM eller digital factory ut fra denne tabellen.

Leverandørkortet er tydelig. Anthropic og OpenAI eier toppen. Meta er med Spark, ikke Wonder. Åpne vekter er ikke i nærheten. Mistral Large 4 Preview lander på 868, bak Qwen og GLM-Flash.

Kostnad skiller mer enn Elo i toppen. De fire første er uavgjort. Sol leverer 1123 Elo til 3,46 dollar. Sonnet vinner 71 Elo til 15,18. Luna er FinOps-valget hvis 1000 Elo holder. Kimi er dyrt for åpen vekt.

For EØS: amerikansk lab-eval. Ingen geo, ingen DPA, ingen residens i tabellen. Stirrup er offline. Produksjonsagenter mot interne 3D-assets er en annen risikomodell.

For CISO: benken selv er lufttett. Én HTML-fil, ingen nett, programvare-WebGL. Det sier ingenting om en 3D-agent med tilgang til tegningsarkiv, PDM eller kamerafeed. Mål tidlig visuell sjekk og kostnad per scene, ikke bare Elo.

Begrensningene er åpne: ett forsøk, tre timer, 8 GB, ingen GPU, Bradley-Terry på panelstemmer, offentlige stemmer utenfor. Muse Wonder og senere modeller kommer på live-tabellen.

Kilder og medier

Primærkilde: Artificial Analysis, «Announcing AA-3D: a benchmark for AI models building interactive 3D experiences», 12. oktober 2026: https://artificialanalysis.ai/articles/aa-3d

Live-tabell: https://artificialanalysis.ai/evaluations/aa-3d

Metode: https://artificialanalysis.ai/methodology/aa-3d

Thumbnail: OpenAI Image 2 / hogby.ai