Microsoft gjør agenttesting til treningsmotor

Microsoft Research har publisert Echoverse, et nytt opplegg for å trene og evaluere computer-use-agenter i dype, tilstandsfulle simulerte arbeidsmiljøer. Dette er ikke en ny chatbotmodell. Det er mer interessant enn som så: Microsoft angriper den delen av agentløpet som ofte blir undervurdert i lederrommet, nemlig hvordan man faktisk beviser at en agent kan gjøre arbeid i systemer der handlinger har konsekvenser.

Poenget er enkelt. En agent som klikker rundt i en demo lærer lite hvis ingenting endrer seg under panseret. I virkelige arbeidsflyter endrer en handling database, rettigheter, historikk, betaling, sakstatus, kalender, e-posttråd eller revisjonsspor. Echoverse bygger slike verdener kontrollert, slik at en agent kan prøve, feile, nullstilles og måles mot faktisk systemtilstand. Det er en langt hardere test enn skjermbilder og pyntede oppgaver.

Microsoft beskriver to typer miljøer. Den første er fulle domeneverdener, som EchoMail, EchoCalendar, EchoChat, EchoML, EchoForge, EchoBank, EchoCare, EchoForum, EchoTunes og EchoStay. De skal bære arbeidsflyter med delt tilstand, rettigheter, audit trail og flere avhengige steg. Den andre er smalere ferdighetsverdener som driller én kontrolltype, for eksempel datovelgere eller nested filters, i mange varianter. Det siste er viktig, fordi mange agenter ikke feiler på «AI-forståelse», men på små UI-mønstre de møter i nesten alle forretningssystemer.

Tallene er verdt å merke seg. Microsoft skriver at en 9B-modell trent på tolv slike miljøer økte fra 36,5 prosent til 67,1 prosent på fjorten evalueringssplitter. Det brakte modellen innen fjorten prosentpoeng fra GPT-5.4, som Microsoft bruker som større frontier-referanse. På enkelte Echoverse-splitter matchet eller slo 9B-modellen den større modellen. Det betyr ikke at små modeller plutselig slår frontiermodeller generelt. Det betyr at riktig trenings- og evalueringsflate kan være like viktig som rå modellstørrelse når oppgaven er å bruke programvare riktig.

Den mest relevante lærdommen for CIO og CISO er at «agentklar» ikke kan bety at en leverandør har en video der en agent fullfører en oppgave. Det må bety at oppgaven kan kjøres på nytt, at sideeffektene er kontrollerte, at systemet kan resettes, og at suksess måles mot autoritativ tilstand. Echoverse bruker database-grunnede verifikatorer. En write-oppgave består ikke fordi agenten sier at en sak ble lukket. Den består først når raden i databasen faktisk har riktig status etterpå.

Microsoft viser også hvorfor billige, grunne miljøer kan gjøre agenter dårligere. I ett eksempel falt live-site-ytelse på Allrecipes fra 80,0 til 75,0 prosent etter trening på et grunt miljø, mens et dypere miljø løftet den til 85,0 prosent. På en Hugging Face-splitt lå den grunne treningen flatt på 48,0 prosent, mens dyp trening løftet resultatet til 65,0 prosent. Dette er et fint spark i leggen til alle som tror agenttesting bare handler om å generere flere syntetiske nettsider. Flere oppgaver hjelper ikke hvis de lærer agenten feil reflekser.

Echoverse er også koblet til reinforcement learning. Microsoft skriver at de samme verdenene kan brukes som RL-miljøer fordi de kan resettes, kjøres parallelt og graderes fra egen database. I en RL-runde på fem verdener steg held-out-score fra 58,8 prosent til rundt 68 prosent. Dette er lederrelevant fordi det peker mot en ny normal for agentutvikling: evalueringsmiljøet er ikke bare en scoreboard. Det blir selve treningsmotoren.

For norske virksomheter er signalet tydelig. De mest verdifulle agentene vil ikke leve på åpne nettsider. De vil leve i ERP, CRM, saksbehandling, e-post, dokumentflyt, IAM, sikkerhetsverktøy og interne konsoller. Nettopp der er dataene bak innlogging, workflows er stateful, og feil kan koste penger, sikkerhet eller omdømme. Da holder det ikke å teste på et pent UI. Man må bygge eller kreve miljøer som speiler konsekvensene av ekte arbeid uten å slippe agenten løs i produksjon.

Dette gir også en praktisk innkjøpsregel: Be leverandøren vise hvordan agenten evalueres. Ikke bare hvilke benchmarks modellen scorer på, men hvordan oppgaver defineres, hvordan systemtilstand resettes, hvordan write-handlinger verifiseres, hvordan rettigheter og audit håndteres, og hvordan negative case måles. Hvis svaret bare er «vi bruker en LLM-dommer på skjermbildet», er risikoen høy. Hvis svaret inkluderer database-grunnede verifikatorer, isolerte sandkasser og gjentakbar task-historikk, begynner det å ligne produksjonsdisiplin.

Microsoft slipper en del av Echoverse offentlig: fire miljøer, med applikasjoner, seed-data og graderere. GitHub-repoet beskriver EchoStay og EchoForge som fulle domeneverdener, pluss datovelger- og nested-filter-miljøer med både in-distribution og out-of-distribution-splitter. Det gjør saken mer enn en forskningsblogg. Team som bygger interne agenter kan faktisk teste egne agenter mot en mer realistisk type arbeidsflate.

Konklusjonen: Echoverse er ikke årets mest glorete modellnyhet. Men den treffer et av de største hullene i agentstrategi. Når agenter går fra demo til drift, blir spørsmålet mindre «hvilken modell er smartest?» og mer «hvilket miljø lærer og beviser riktig oppførsel?». Microsofts svar er at agentmodeller trenger dype, kontrollerte verdener med ekte konsekvenser. Det er tørt, teknisk og akkurat der mye av verdien kommer til å ligge.

Kilder og medier

Primærkilde: Microsoft Research, https://www.microsoft.com/en-us/research/blog/echoverse-deep-evolving-environments-for-computer-use-agents Tilleggsreferanse: Microsoft Research publication, https://www.microsoft.com/en-us/research/publication/echoverse-deep-evolving-environments-for-training-computer-use-agents-at-scale Kode og benchmark: https://github.com/microsoft/Echoverse Thumbnail: OpenAI Image 2 / hogby.ai