DeepMind vil styre interne AI-agenter som risikosystemer

Google DeepMind tar en strengere tone om interne AI-agenter. I en ny artikkel beskriver selskapet en AI Control Roadmap for å sikre egne systemer mot stadig mer kapable agenter. Den viktigste setningen er enkel: interne agenter bør behandles som potensielt feiljusterte, selv om de er trent for å være hjelpsomme.

Det er en modenere risikomodell enn «vi stoler på modellen». DeepMind argumenterer for defense-in-depth: tradisjonelle sikkerhetstiltak som sandboxing, endpoint security og prompt-injection-motstand, kombinert med modelljustering, overvåking og gradvis tilgang basert på verifisert adferd.

For virksomheter som vurderer agenter i IT, sikkerhet, analyse, kundeservice eller produktutvikling, er dette et godt varsel. Når leverandørene selv begynner å bygge kontrollplan rundt agentene, bør kundene ikke nøye seg med en promptpolicy.

Agenten får ikke full tillit fra start

DeepMind bruker et bilde som fungerer: en kjørelærer med dobbelt sett pedaler. Læreren lar eleven kjøre, men kan gripe inn før en feil blir alvorlig. På samme måte skal et AI-kontrollsystem gi agenter rettigheter basert på observert og verifisert adferd, ikke blind tillit.

Dette passer godt med hvordan virksomheter bør tenke tilgang. En intern agent skal ikke få brede rettigheter fordi den er «enterprise». Den bør starte smalt, bevise at den kan utføre oppgaver trygt, og bare få mer tilgang når kontrollene holder.

I praksis betyr det mer granulær autorisasjon, bedre testmiljøer og tydeligere runtime-regler. En agent som oppsummerer dokumenter trenger andre rettigheter enn en agent som kan endre CRM-data, sende e-post, åpne tickets eller kjøre skript.

Prompt injection er bare én del av bildet

Mange sikkerhetsdiskusjoner om agenter stopper ved prompt injection. Det er for smalt. Prompt injection er en sentral risiko, men ikke den eneste. Agenten kan også misforstå mål, kombinere data feil, eskalere handlinger gradvis, bruke verktøy på uventede måter eller bli påvirket av eksternt innhold den henter underveis.

DeepMind peker derfor på systemnivå. Kontrollene må ligge rundt agenten: sandboxing, begrensede verktøy, overvåking av agentbaner, tilgang basert på kontekst og mulighet til å gripe inn.

Dette er særlig relevant når agenter kobles til interne systemer. En chatbot som svarer feil er et kvalitetsproblem. En agent som kan lese interne systemer, utføre kommandoer og kontakte eksterne tjenester, er et risikosystem.

Hva styret bør spørre om

Styret trenger ikke forstå alle tekniske detaljer. Det bør likevel stille bedre spørsmål enn «har vi en AI-policy?».

Første spørsmål: hvilke agenter har tilgang til interne data eller handlinger? Mange virksomheter har flere enn de tror, særlig gjennom utviklerverktøy, CRM-plugins og automatiseringer.

Andre spørsmål: hvordan begrenses agentens handlingsrom? Det bør finnes klare grenser for dataadgang, verktøybruk, nettverk og økonomiske eller juridiske handlinger.

Tredje spørsmål: hva overvåkes i sanntid? Det holder ikke å arkivere sluttresultatet. Virksomheten må se agentens delsteg, verktøykall, eksterne kilder og avvik fra forventet mønster.

Fjerde spørsmål: når må et menneske godkjenne? Menneskelig kontroll bør plasseres før irreversible eller høyrisiko handlinger, ikke etter at agenten har trykket send.

Fra modellstyring til systemstyring

DeepMind-artikkelen viser at AI-governance flytter seg. Det holder ikke å vurdere modellen isolert. Risikoen oppstår i systemet modellen brukes i: hvilke data den ser, hvilke verktøy den får, hvilke mål den optimaliserer mot, og hvilke kontroller som ligger mellom intensjon og handling.

Dette er en nyttig korreksjon for virksomheter som har behandlet AI som et anskaffelsesprosjekt. Modellkort, databehandleravtaler og leverandørvurdering er nødvendig, men ikke tilstrekkelig. Agentdrift trenger egne kontroller.

Den praktiske konsekvensen er at CIO og CISO bør eie en felles agentkontroll. Ikke la hver avdeling bygge sitt eget mønster for tilgang og logging. Det blir dyrt, uoversiktlig og vanskelig å revidere.

Kilder og medier

Primærkilde: Google DeepMind, «Securing the future of AI agents», https://deepmind.google/blog/securing-the-future-of-ai-agents/

Thumbnail: OpenAI Image 2 / hogby.ai