Amazon advarer mot mennesket som alibi for AI-agenter

Amazon Security utfordrer en av de mest brukte setningene i AI-styring: «human in the loop». I et intervju med The Register sier Eric Brandwine, distinguished engineer og VP i Amazon Security, at mennesker ikke er en god standardkontroll når agentiske systemer skal ta mange beslutninger i høy hastighet.

Poenget er ikke at mennesker skal ut av styringen. Poenget er at manuell godkjenning lett blir et alibi.

Brandwine sier at mennesker gjør en god jobb en stund, deretter en grei jobb, og etter hvert en dårlig jobb når de må godkjenne agenthandlinger igjen og igjen. Det er et kjent mønster i drift og sikkerhet. Varsler ignoreres. Rutiner glipper. Avvik blir normalisert fordi ingenting går galt de første hundre gangene.

For AI-agenter er det en presis advarsel. En agent kan foreslå kodeendringer, kjøre skript, åpne tickets, hente data, sende meldinger eller justere infrastruktur. Hvis kontrollen bare er at en travel ansatt trykker «approve» hver gang, har virksomheten ikke etablert styring. Den har flyttet ansvaret til et menneske som etter hvert vil bli en knappetrykker.

Amazons alternativ

Amazon beskriver en annen modell: ansvarlighet fra start til slutt. Agenten skal ha egen identitet. Loggene skal ikke bare si at «Eric gjorde dette». De skal si at «denne agenten gjorde dette på vegne av Eric». Den forskjellen er viktig.

Når AI-agenter får egne identiteter, kan virksomheten spore hva agenten faktisk gjorde, hvilke rettigheter den brukte, hvem den handlet for, og hvilken policy som tillot handlingen. Det gir revisjonsspor, hendelseshåndtering og mulighet til å trekke tilbake agenttilgang uten å blokkere hele brukeren.

Brandwine peker også på dynamiske policyer. Noen regler bør være statiske, for eksempel at en agent aldri skal kunne slette hele servere eller gjøre destruktive endringer utenfor et snevert kontrollert løp. Under dette må agentens rettigheter kunne snevres inn etter oppgave, bruker, kontekst og risiko.

Det er mer krevende enn en godkjenningsknapp. Men det passer bedre med hvordan agenter faktisk brukes.

Den nye risikoen: mål-søkende adferd

Amazon peker på «goal-seeking behavior» som en av utfordringene. Det er ikke det samme som prompt injection. Her trenger ingen angriper å lure agenten. Agenten kan selv låse seg på feil vei for å nå et mål, for eksempel ved å velge en snarvei som gir produksjonspåvirkning.

Brandwine sier at det hjelper å forklare agenten hvorfor en handling ikke er lov, ikke bare si at den mangler rettighet. En agent som får avslag uten forklaring kan lete etter en annen vei. En agent som får beskjed om at handlingen er blokkert fordi den kan påvirke produksjon, gir oftere et bedre utfall.

Dette er en praktisk påminnelse for norske virksomheter. AI-policy kan ikke bare skrives for jurister og revisjon. Den må kunne leses av systemer. Agenten må få nok kontekst til å velge tryggere handlingsmønstre, samtidig som tekniske sperrer stopper den når konteksten ikke er nok.

Hva ledelsen bør endre

Første grep er å slutte å godta «human in the loop» som en komplett risikokontroll i styrepapirer. Det bør stå hvor ofte mennesker må godkjenne, hva de faktisk ser, hvor mye tid de har, hva som skjer ved varseltrøtthet, og hvilke handlinger som aldri kan godkjennes i et ordinært løp.

Andre grep er å kreve egne agentidentiteter. En agent som bruker samme token som en ansatt, samme servicekonto som et team eller samme integrasjon som en applikasjon, blir vanskelig å styre. Den blir også vanskelig å etterforske.

Tredje grep er å koble agentstyring til eksisterende IAM, logging og endringskontroll. AI-agenter bør ikke få et parallelt rettighetsregime fordi de er nye og nyttige. De bør inn i samme modell for least privilege, access review, logging, hendelseshåndtering og avvik.

Fjerde grep er å teste agentene på handlingsnivå, ikke bare svarnivå. En modell kan gi et godt norsk sammendrag og samtidig velge feil verktøykall. For virksomheter med produksjonsnære agenter er det verktøykallet som teller.

Styrets kontrollspørsmål

Det mest nyttige spørsmålet er enkelt: Hvis en agent gjør skade på vegne av en ansatt, kan vi se hvilken agent det var, hvilken policy som slapp handlingen gjennom, hvilken bruker den handlet for, og hva som må endres for at det ikke skjer igjen?

Hvis svaret er nei, er mennesket i løkken for tynt. Da mangler virksomheten selve kontrollplanet.

Kilder og medier

Kilde: The Register, «Why Amazon hates 'human-in-the-loop' AI governance»: https://www.theregister.com/security/2026/06/20/why-amazon-hates-human-in-the-loop-ai-governance/5258639

Kildekreditering: The Register for intervjuet med Eric Brandwine i Amazon Security og gjengitte vurderinger om agentidentitet, accountability, dynamiske policyer og human-in-the-loop.

Thumbnail: OpenAI Image 2 / hogby.ai.