MazeBench viser hvor lite AI-agenter faktisk forstår rom

MazeBench er en nyttig kald dusj for alle som selger AI-agenter som nesten-ferdige digitale ansatte. Den nye benchmarken tester ikke om en modell kan skrive en pen plan, løse en isolert kodeoppgave eller gi et overbevisende svar i chat. Den tester om en agent kan orientere seg i en stor tredimensjonal verden, se hva som faktisk ligger foran den, rotere kameraet, bruke objekter som verktøy og holde fast på en plan over mange trekk.

Det høres lekent ut. Det er alt annet enn trivielt. MazeBench består av en åpen 3D-labyrint med mer enn 200 rom, 100 skjulte gems og Sokoban-lignende puslespill der bokser må flyttes, hektes, dyttes og brukes for å åpne nye veier. Noen oppgaver krever over hundre trekk. Agentene får en enkel handlingsflate: flytte, rotere kamera, angre, resette og teleportere til rom de allerede har besøkt. Poenget er å måle lang planlegging og visuell-romlig forståelse, ikke bare språklig selvtillit.

Det viktigste funnet er skarpt: uten Python-tilgang scoret ingen modell over 1 prosent. Med Python-tilgang, der coding agents kan skrive små solvere og simulere fysikken i miljøet, når dagens sterkeste modeller omtrent 10 til 13 prosent. MazeBench omtaler GPT-5.6 Sol, Claude Fable 5 og Claude Opus 5 som modeller som ligger rundt dette nivået i verktøystøttet modus. Det er høyt nok til å vise reell fremgang. Det er samtidig lavt nok til å minne ledere om at agentmarkedet fortsatt overvurderer hvor robust resonnering i lange løp faktisk er.

For CIO-er og CISO-er er dette mer relevant enn enda en vanlig chatbot-leaderboard. Mange bedriftsprosesser ligner ikke en eksamen med ett riktig svar. De ligner mer på MazeBench: delvis observerbare miljøer, ufullstendig kontekst, små handlinger som endrer neste steg, og feil som kan låse agenten inne i en dårlig tilstand. Når en modell bruker 5 000 trekk på å gå i sirkel i et isete rom, er det nesten komisk. Når den samme mønsterfeilen skjer i en skyplattform, en sårbarhetsskanning, en refusjonsprosess eller en produksjonsmigrering, er det ikke komisk lenger.

MazeBench skiller også mellom det modellen kan klare med og uten programmeringsverktøy. Det er en viktig distinksjon. En agent som løser oppgaven ved å skrive en A*-solver demonstrerer noe verdifullt: den kan bruke kode som ekstern kognisjon. Men den demonstrerer ikke nødvendigvis at den forstår 3D-verdenen på en menneskelig robust måte. Benchmarken peker derfor på en praktisk modenhetsmodell: verktøystøttede agentsystemer kan være nyttige i smale, instrumenterte miljøer, men bør ikke forveksles med generell autonomi.

Det gjør testen mer interessant enn en ren modellrangering. MazeBench kjører agentene i native harnesses som Codex og Claude Code, og tilbyr både visuell modus, ASCII-modus og JSON-modus. Det betyr at benchmarken prøver å skille mellom visuell persepsjon, tekstlig representasjon, planlegging og evnen til å bygge hjelpeverktøy. I ASCII-modus må agenten fortsatt forstå et romlig objekt gjennom 20 kameraperspektiver. I JSON-modus får den mer strukturert informasjon, men må fremdeles gjette fysikk og planlegge effektivt.

Resultatene viser et mønster som er kjent fra produksjon: de beste modellene har glimt av imponerende strategisk atferd, men mister ofte balansen mellom utforskning og målrettet gjennomføring. MazeBench beskriver at GPT-5.6 Sol kunne finne et svært vanskelig rom, gå bort, eksperimentere lenge og senere komme tilbake med en lang plan. Det er reelt fremskritt. Samtidig kunne modellen bli for besatt av ett problem og brenne enorme mengder tokenbudsjett. Fable 5 beskrives som mer utforskende, men også begrenset av kostnad og usage limits.

Kimi K3 og Gemini 3.1 Pro kommer svakere ut i MazeBench-beskrivelsen enn de gjør i flere tekst- og kodeleaderboards. Det er ikke nødvendigvis et nederlag for de modellene. Det er et signal om at eval-landskapet fortsatt er smalt. En modell kan være sterk på kode, frontend, lange tekster eller preferansearenaer, men likevel slite når den må bygge en stabil intern modell av et miljø over tid.

Lederpoenget er enkelt: kjøp ikke agentløfter på demospråk. Kjøp dem på evals som ligner arbeidsflyten din. Hvis agenten skal navigere systemer med tilstand, avhengigheter, venting, feilhåndtering og ufullkommen observasjon, trenger du tester som avslører sirkling, softlocks, kostnadseksplosjon og feil bruk av verktøy. MazeBench er ikke en fasit for alle domener. Men den er en god påminnelse om at neste nivå i AI ikke bare handler om mer kunnskap i modellen. Det handler om utholdenhet, situasjonsforståelse og evnen til å komme seg ut av dårlige mellomtilstander uten at et menneske redder den.

For virksomheter betyr det tre konkrete ting. Først: bygg agentpiloter med harde stopp, observabilitet og kostnadstak fra dag én. Andre: mål fremdrift, ikke bare sluttrespons. Tredje: skill mellom modeller som kan bruke verktøy godt, og modeller som faktisk forstår prosessen de er satt til å styre. MazeBench gjør nettopp den forskjellen synlig.

Kilder og medier

Primærkilde: MazeBench — https://mazebench.com/blog?post=maze-bench-results

MazeBench Engine: https://github.com/mazebench/MazeBenchEngine

Thumbnail: OpenAI Image 2 / hogby.ai