MIT: LLM-er blander roller og åpner for nye angrep

MIT Technology Review omtaler ny ICML-forskning som hevder at store språkmodeller har en grunnleggende svakhet i måten de skiller mellom instruksjoner, egne svar, verktøydata og skjult resonnering. Forskerne kaller problemet rolleforvirring.

Kjernen er enkel, men ubehagelig. For mennesker er det lett å vite hva som er egne tanker, hva en annen person sier, og hva som bare er tekst i et dokument. For en språkmodell kommer alt inn som én strøm av tokens. Systemmeldinger, brukerprompt, tidligere svar, verktøyutdata, dokumenttekst og modellens egen arbeidsnotatstruktur ligger i samme tekstlige rom. Plattformene bruker rolletagger for å fortelle modellen hva som er hva. Forskerne mener modellene i praksis ofte leser stilen og innholdet, ikke taggen, når de avgjør hvilken autoritet teksten skal ha.

Det åpner for en type angrep der ondsinnet eller manipulerende tekst ikke trenger å bryte formatet. Den trenger bare å ligne på en mer betrodd rolle. MIT-artikkelen beskriver forsøk der tekst skrevet som om den var modellens egen chain-of-thought fikk modeller til å følge instruksjoner de ellers skulle avvise. Forskerne omtaler dette som chain-of-thought-forfalskning. De sier de har sett lignende mønstre på modeller fra flere leverandører.

For CISO-er er dette en viktig nyanse i prompt injection-debatten. Mange tiltak handler fortsatt om å filtrere farlige ord, trene modellen på kjente angrep og sette tydeligere policy i systemprompten. Slike tiltak kan gjøre angrep vanskeligere. De fjerner ikke nødvendigvis den dypere feilen: modellen har ikke en robust, fysisk forankret forståelse av hvem som snakker. Den gjetter ut fra tekstmønstre.

Det betyr ikke at LLM-er er ubrukelige i sensitive miljøer. Det betyr at de må behandles som upålitelige beslutningskomponenter når de står nær data, verktøy og handlinger. En agent som kan lese e-post, åpne interne dokumenter, kalle API-er og skrive til systemer, må ha kontrollpunkter utenfor modellen. Den bør ikke kunne bestemme selv at en tekstbit fra et dokument plutselig er en instruksjon fra eieren. Den bør heller ikke få ubegrenset mulighet til å kompensere for svikt ved å prøve stadig mer kreative omveier.

For CIO-er handler saken om arkitektur. Hvis AI skal inn i kundeservice, saksbehandling, utvikling og analyse, må virksomheten skille mellom tre nivåer: modellen som tolker språk, orkestreringen som bestemmer verktøyflyt, og policy-laget som avgjør hva som faktisk får skje. Det siste må være deterministisk nok til at revisjon, sikkerhet og juridisk kan forstå det. En modell som sier at den «forstod» en instruks, kan ikke være eneste bevis på at handlingen var godkjent.

For styret er den praktiske risikoen at leverandørpresentasjoner ofte glatter over denne forskjellen. Det høres betryggende ut at en modell er red-teamet og mer robust mot jailbreaks. Det er nyttig, men ikke nok. Spørsmålet bør være hvordan løsningen håndterer tekst fra e-post, nettsider, bilag, kundedialog og andre systemer som kan inneholde instruksjoner modellen ikke skal følge. Det bør også være tydelig hvem som eier policyen når en agent foreslår eller gjennomfører handlinger på vegne av en ansatt.

Forskningen peker mot en mer nøktern anskaffelsesmodell. AI-systemer som bare gir språkforslag kan vurderes annerledes enn agenter som får handle. Jo nærmere agenten kommer penger, persondata, tilgangsstyring, produksjon eller sikkerhetshendelser, desto mer må virksomheten kreve logging, isolasjon, rettighetsgrenser, menneskelig godkjenning og etterprøvbarhet.

Den viktigste lærdommen er ikke at alle prompt injection-problemer er uløselige. Det er at virksomheter ikke bør basere sikkerheten på at neste modellversjon endelig forstår roller perfekt. Bedre modeller vil hjelpe. Men produksjonssystemer trenger også gammeldagse sperrer: minste privilegium, klare tool scopes, data-klassifisering, avbruddsgrenser, beslutningslogger og sikker drift rundt agenten.

Kilder og medier

Kilde: MIT Technology Review, «A fundamental flaw leaves LLMs strikingly vulnerable to attack». source_url: https://www.technologyreview.com/2026/07/30/1140927/a-fundamental-flaw-leaves-llms-vulnerable-to-attack/

Primær forskningsside: «Prompt Injection as Role Confusion», ICML 2026: https://role-confusion.github.io/

Thumbnail: OpenAI Image 2 / hogby.ai