NVIDIA viser hvor svakt multimodale modeller forstår 3D-rom

NVIDIA Research har publisert Spatial-IQ, et nytt diagnostisk benchmark for multimodale modeller. Det høres smalt ut. Det er det ikke. Dette treffer en av de viktigste svake punktene i dagens AI-strategi: modeller kan se overbevisende ut på skjerm, men likevel bomme grovt når oppgaven krever fysisk og romlig forståelse.

Spatial-IQ handler om noe mennesker gjør nesten intuitivt: telle objekter i en stablet 3D-struktur, også de som er skjult, men som må være der for at strukturen skal henge sammen. Modellen må ikke bare si hva den ser. Den må forstå kolonner, lag, støtte, okklusjon og hvilke blokker som logisk må ligge under andre blokker. Det er akkurat denne typen resonnering som blir kritisk når AI skal inn i robotikk, lager, produksjon, bygg, inspeksjon, AR/XR, simulerte tvillinger og andre miljøer der feil ikke bare blir et dårlig svar i en chat.

Hva NVIDIA faktisk lanserer

Spatial-IQ er ikke en ny chatbot og ikke en ny multimodal modell. Det er et evaluerings- og treningsrammeverk. NVIDIA Research og Yale University har bygget et benchmark som deler 3D-objekttelling inn i ni perceptuelle og kognitive deloppgaver, med egne target-oppgaver for samlet objektantall og mental rotasjon. Datasettet består av rundt 80 000 prosedyregenererte scener i NVIDIA Isaac Sim, med separate evaluerings- og treningssett.

Det viktige er hvordan testen er skrudd sammen. Mange benchmarks måler bare sluttresultatet: riktig eller feil svar. Spatial-IQ forsøker å vise hvorfor svaret ble feil. Klarer modellen å skille objekter fra hverandre? Ser den kolonner og lag? Forstår den hvilke blokker som må finnes under synlige blokker for å gi fysisk støtte? Kommer totalen fra synlig pluss skjult telling, eller bare fra et heldig mønstergjett?

Det er en mer moden måte å evaluere multimodal AI på. Når en leverandør hevder at en modell har spatial reasoning, holder det ikke å se på demoer. Ledere trenger tester som avslører delkompetansene under sluttpoenget.

Tallene er brutale

NVIDIAs egen presentasjon peker på et stort gap mellom mennesker og dagens modeller. Mennesker når 82,1 prosent nøyaktighet på objekt-telling. Beste off-the-shelf multimodale modell i testen ligger på 17,7 prosent. Det er ikke en liten margin. Det er et signal om at mange visuelle modeller fortsatt er langt svakere på komposisjonell romforståelse enn de ser ut i polerte produktdemoer.

Forskerne viser også at to modeller kan ha omtrent samme sluttresultat, men helt forskjellig mekanisme. En modell kan treffe totalantallet uten å ha bevart den underliggende kjeden av delresonnementer. Det betyr at en høyere score alene ikke nødvendigvis betyr mer robust forståelse. I praktiske systemer er det en risikofaktor. En modell som av og til gjetter riktig, men ikke kan forklare eller gjenta de nødvendige mellomstegene, er vanskelig å stole på i fysisk operasjon.

Det mest interessante funnet er treningssignalet. Qwen2.5-VL-32B løftes i forskernes eksperiment fra 2,9 prosent til 62,6 prosent på objekt-telling når modellen trenes med hierarkisk chain-of-thought-supervisjon og forsterkningslæring med verifiserbare belønninger. Det betyr ikke at Qwen plutselig er produksjonsklar for alle fysiske oppgaver. Men det viser at presise, dekomponerte evaluer kan bli mer enn rangering. De kan bli en oppskrift på forbedring.

CIO-vinkelen: dette er innkjøpsrisiko

For CIO-er og teknologiledere er Spatial-IQ nyttig fordi det flytter spørsmålet fra “hvilken modell scorer best?” til “hvilken modell feiler på den delen av oppgaven vi faktisk er avhengige av?”.

Hvis AI skal brukes i lageroptimalisering, robotplukking, kvalitetskontroll, droneinspeksjon, bygg- og anleggsdata eller visuell saksbehandling, er generell multimodal IQ ikke nok. Man må vite om modellen håndterer okklusjon, fysisk støtte, perspektivskifte og strukturell telling. En modell som er god på dokumentbilder og skjermbilder, kan fortsatt være svak på romlig årsakssammenheng.

Det påvirker også leverandørdialogen. En moden anskaffelse bør ikke bare be om benchmark-tabeller fra leverandøren. Den bør be om oppgavespesifikke evaluer, feilanalyse og dokumentasjon på hvilke delkompetanser modellen faktisk har. Spatial-IQ er et eksempel på den typen testdesign som gjør dette mulig.

CISO-vinkelen: ikke la visuelle agenter få fysisk myndighet uten bevis

For sikkerhetssiden er læringen enkel: multimodale agenter bør ikke få høyere autonomi i fysiske eller operasjonelle miljøer før de er testet på relevante deloppgaver. En agent som misforstår støtte, dybde eller objektantall kan gjøre feil prioriteringer, ikke bare gi feil analyse. I en ren rapportflyt er det irriterende. I robotikk, inspeksjon eller industriell automasjon kan det bli operasjonell risiko.

Derfor bør evaluer splittes etter konsekvens. Lavrisiko bruk kan akseptere grovere visuell forståelse. Høyere risiko bør kreve scenarioer med skjulte objekter, perspektivskifte, tvetydige strukturer og krav om stabil mellomresonnering. Det er bedre å avdekke at modellen bruker snarveier i en test enn etter at den er koblet til handling.

Hva bør gjøres nå

Det første grepet er å ikke overtolke generelle multimodale benchmarks. De er nyttige, men ikke nok. Lag en liten intern evalpakke for de fysiske eller visuelle oppgavene virksomheten faktisk vurderer. Bryt oppgaven ned i delkompetanser, ikke bare sluttresultat. Mål om modellen kan forklare og gjenta mellomstegene.

Det andre grepet er å bruke slike tester i modell- og leverandørvalg. Hvis en modell skal tolke lagerbilder, butikkhyller, tekniske anlegg eller produksjonslinjer, må testsettet inneholde det. Ikke kjøp fysisk resonnering på logo og demo. Kjøp det på målbar robusthet.

Det tredje grepet er å holde pilotene smale. Spatial-IQ viser at forbedring er mulig når treningssignalet er presist. Men det viser også hvor mye arbeid som gjenstår. Multimodale modeller blir nyttige i fysiske domener, men veien dit går gjennom gode evaluer, ikke magisk tro på at en generell frontiermodell forstår verden slik mennesker gjør.

Kilder og medier

Primærkilde: NVIDIA Research, Spatial-IQ: https://nvidia.github.io/Spatial-IQ/

Supplerende forskningsartikkel: arXiv 2607.22864, Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests.

Thumbnail: OpenAI Image 2 / hogby.ai