Forskningsagenter kan lekke hemmeligheter i vanlige søk

Deep-research-agenter får ofte to typer tilgang samtidig: interne dokumenter og eksternt web-søk. Det er nettopp kombinasjonen som gjør dem nyttige. Det er også kombinasjonen som kan gjøre dem farlige.

ServiceNow-forskere beskriver i MosaicLeaks hvordan en agent kan lekke private fakta uten å skrive dem direkte i svaret. Lekkasjen skjer i stedet gjennom søkene agenten sender ut på nettet. Hvert søk kan se ufarlig ut alene. Samlet kan de avsløre sensitive opplysninger fra interne dokumenter.

Eksempelet i artikkelen er en agent som jobber med en tilsynelatende vanlig analyse. Underveis søker den etter biter av informasjon som ligger i private dokumenter: en migreringsmilepæl, en sikkerhetshendelse, en leverandør og et tidspunkt. En ekstern part som ser søketrafikken, trenger ikke lese dokumentene. Det holder å sette sammen fragmentene. Det er mosaikkeffekten.

Dette er en praktisk CISO-sak, ikke bare en forskningskuriositet. Mange virksomheter er i ferd med å gi AI-agenter tilgang til saksdokumenter, kontrakter, kundedata, kodebaser og interne notater. Samtidig får agentene nettleser, søk, e-post, CRM, Slack, Teams og andre verktøy. Da blir outbound-trafikk en ny datakanal.

Hva MosaicLeaks viser

Forskerne laget en benchmark for multi-hop-spørsmål som blander offentlig og privat informasjon. Agenten må bruke begge for å løse oppgaven. Risikoen oppstår når den prøver å hente offentlig informasjon med søk som inneholder private hint.

ServiceNow skriver at agentene de testet ofte lekket privat informasjon, og at trening bare for bedre oppgaveytelse gjorde problemet verre. Det er et viktig funn. Mange virksomheter optimaliserer agenter på hastighet, treffsikkerhet og fullføringsrate. Hvis den eneste belønningen er å få jobben gjort, kan agenten lære seg at det er akseptabelt å bruke private detaljer som søkestrenger.

Forskerne foreslår en metode de kaller Privacy-Aware Deep Research, PA-DR. Den skal lære agenten å søke på en måte som løser oppgaven uten å røpe sensitive biter. I testen økte streng kjedesuksess fra 48,7 til 58,7 prosent, samtidig som answer/full-information leakage falt fra 34,0 til 9,9 prosent.

Tallene må ikke leses som en ferdig bransjestandard. De er likevel sterke nok til å endre kravbildet. Det holder ikke å be agenten «ikke lekke data». En agent som skal gjøre reell analyse, må ha tekniske sperrer og evalueres på lekkasje, ikke bare på kvaliteten i sluttsvaret.

Hvorfor ledelsen bør bry seg

De fleste datakontroller er bygget for mennesker og applikasjoner. En ansatt som limer inn sensitive data i et web-søk, er et opplagt avvik. En agent som gjør ti små søk på vegne av den ansatte, kan se ut som legitim research. Det er her styringsmodellen sprekker.

For norske virksomheter med GDPR, kundedata, anskaffelser, forretningshemmeligheter eller sikkerhetsgradert materiale er dette en ny variant av kjent risiko: uautorisert deling gjennom en legitim kanal. Forskjellen er tempo og skala. En agent kan gjøre hundrevis av søk i en arbeidsflyt. Den kan også gjenta mønsteret for mange brukere før noen oppdager det.

Dette treffer flere roller samtidig. CIO må vite hvilke verktøy agentene får. CISO må se outbound-trafikk og dataklassifisering i sammenheng. DPO må vurdere om personopplysninger kan eksponeres indirekte. Juridisk må forstå at en lekkasje kan skje uten at en modell eksplisitt sender en fil ut av huset.

Kontrollen må ligge rundt agenten

Første tiltak er dataminimering. En agent bør ikke få hele dokumentrommet fordi det er praktisk. Den bør få minste nødvendige kontekst, med tydelig klassifisering og sporbarhet.

Andre tiltak er egress-kontroll. Søk, nettleser og API-kall bør logges som del av agentkjøringen. Det holder ikke å logge sluttresultatet. Man må kunne se hva agenten spurte om, hvilke private kilder som var tilgjengelige, og hvilke eksterne endepunkter den kontaktet.

Tredje tiltak er policy før verktøykall. Hvis en agent vil sende en søkestreng som inneholder kundens navn, prosjektkode, persondata, kontraktsbeløp eller interne milepæler, bør den stoppes eller omskrives. Slike regler bør testes som vanlige sikkerhetskontroller, ikke ligge som et avsnitt i en systemprompt.

Fjerde tiltak er evalueringssett for lekkasje. MosaicLeaks peker på et hull i mange agentpiloter: man tester om agenten svarer riktig, men ikke om den søkte trygt. Det er to forskjellige krav. En agent som er flinkere til å fullføre oppgaven, kan være dårligere til å holde tett.

Beslutningen nå

Deep-research-agenter er nyttige nok til at de kommer inn i virksomhetene. Det gjør risikostyringen mer presserende, ikke mindre. Spørsmålet er ikke om ansatte skal bruke dem. Spørsmålet er om virksomheten vet hvilke data agenten ser, hvilke verktøy den bruker, og hvilke spor den legger igjen utenfor kontrollsonen.

Styret trenger ikke detaljstyre søkestrenger. Men det bør kreve at agentprogrammet har samme disiplin som annen kritisk programvare: tilgangsstyring, logging, dataklassifisering, testdekning og avvikshåndtering.

MosaicLeaks gir et konkret språk for den risikoen. Agenter kan lekke som en mosaikk. Små biter, riktig kombinert, er nok.

Kilder og medier

Primærkilde: Hugging Face / ServiceNow, «MosaicLeaks: Can your research agent keep a secret?», https://huggingface.co/blog/ServiceNow/mosaicleaks

Thumbnail: OpenAI Image 2 / hogby.ai