AWS gjør EU-inferens til styringsvalg i Bedrock

Amazon Web Services bruker Bedrock til å gjøre et gammelt skyproblem mer konkret for AI-ledere: hvor behandles egentlig prompten, og hvem kan bevise det etterpå?

I en ny teknisk gjennomgang beskriver AWS hvordan cross-Region inference i Amazon Bedrock kan rute generativ AI-trafikk mellom regioner innenfor definerte geografiske rammer. Den viktigste delen for europeiske virksomheter er EU-profilene. Ifølge AWS skal forespørsler som starter i en EU-region, og som bruker EU-profilen, bare kunne rutes til andre AWS-regioner i EU. London og Zürich regnes ikke som EU-destinasjoner i dette oppsettet.

Dette høres teknisk ut. Det er det også. Men styringspoenget er enkelt: AI-inferens blir ikke lenger bare et spørsmål om hvilken modell som svarer best eller billigst. Det blir et valg i arkitekturen som kan knyttes til databehandleravtaler, risikovurdering, logging og intern policy.

AWS skriver at Bedrock-kunder må angi en inferensprofil i koden når de vil bruke kryssregional inferens. En global profil kan rute til støttede kommersielle AWS-regioner. En EU-profil begrenser derimot rutingen etter de geografiske reglene i profilen. For virksomheter med europeiske data, regulerte prosesser eller sterke krav til kundetillit er forskjellen viktig. Det er forskjell på å si at data bør holdes i Europa og å ha en profil-ID, IAM-policy og CloudTrail-logg som viser hva applikasjonen faktisk gjorde.

AI-kapasitet møter dataresidens

Bakgrunnen er presset på AI-kapasitet. De nyeste modellene og akselerert regnekraft er ikke likt tilgjengelig i alle regioner til enhver tid. Uten kryssregional inferens må virksomheter enten leve med lavere kapasitet, velge andre modeller eller flytte applikasjoner nærmere der modellen er tilgjengelig. Med Bedrock CRIS forsøker AWS å gi mer kapasitet uten at hver kunde selv må bygge ruting, feilhåndtering og regionlogikk.

Det gjør også kostbildet mer sammensatt. AWS peker på at globale profiler i noen tilfeller kan gi lavere pris enn direkte regional bruk eller geografisk begrensede profiler. Det betyr at CIO og CFO får en klassisk avveining: billigere og mer robust global kapasitet mot strengere regional kontroll. For norske virksomheter med persondata, helseopplysninger, finansdata eller offentlige data er ikke billigste rute automatisk riktig rute.

EU-profilen gjør avveiningen mer eksplisitt. Arkitektene kan skille mellom arbeidslaster som tåler global ruting, og arbeidslaster som bør holdes i EU. Det kan være samme applikasjon, men ulike funksjoner: å oppsummere åpen produktdokumentasjon er én ting, å analysere kundehenvendelser eller interne personalsaker er noe annet.

Revisjon blir en del av AI-arkitekturen

Det mest interessante er ikke bare rutingen. Det er sporbarheten rundt den. AWS beskriver at CloudTrail logger metadata for Bedrock API-kall, inkludert model invocation API-er som Converse og InvokeModel. Payloaden logges ikke som standard, men metadata kan vise både kilde- og destinasjonsregion. Feltet inferenceRegion i additionalEventData skal vise hvor forespørselen faktisk ble behandlet.

Det gir revisjonsteam og sikkerhetsledere et mer håndfast kontrollpunkt. Spørsmålet blir ikke bare om leverandøren har en europeisk region. Spørsmålet blir om selskapet kan dokumentere hvilke regioner AI-forespørslene faktisk gikk gjennom, hvilke profiler som ble brukt, og hvilke IAM-roller som hadde lov til å bruke dem.

AWS peker også på Model Invocation Logging som et valg for kunder som trenger mer detaljert logging av forespørsler og svar. Den funksjonen er av som standard og må skrus på aktivt. Det er et viktig skille. Mange virksomheter vil ha revisjon, men ikke nødvendigvis lagre fulle promptytelser og modellresultater hvis de inneholder sensitive data. God AI-styring handler derfor ikke om mest mulig logging, men riktig logging for riktig risiko.

Hva norske ledere bør gjøre nå

Dette er ikke en nyhet som krever panikkmøte. Det er en nyhet som bør inn i sky- og AI-governance. Bedrock-kunder i Europa bør klassifisere AI-arbeidslaster etter datarisiko og bestemme hvilke som kan bruke globale profiler, og hvilke som må bruke EU-profiler. Deretter bør valget håndheves i IAM og infrastrukturkode, ikke i muntlige retningslinjer.

CISO bør se på dette som en kontroll mot utilsiktet dataflyt. DPO bør vurdere om dokumentasjonen er god nok for GDPR-vurderinger og databehandlerstyring. CFO bør forstå at regional kontroll kan koste mer enn global kapasitet. CIO bør sørge for at beslutningen tas før team bygger agentløsninger som sprer seg gjennom organisasjonen.

Det ligger også en bredere markør her. De store skyplattformene flytter AI fra eksperimentrommet inn i de samme kontrollflatene som resten av enterprise-IT: regionvalg, IAM, logging, nettverk, nøkkelhåndtering og revisjon. Det gjør AI enklere å styre, men også vanskeligere å late som om styring kan komme senere.

For norske selskaper er den praktiske konklusjonen nøktern: modellvalg er ikke nok. AI-plattformen må kunne vise hvor data behandles, hvem som hadde lov til å sende den dit, og hvordan det kan etterprøves. AWS har nå gjort den diskusjonen mer konkret i Bedrock. Konkurrentene må svare med samme presisjon.

Kilder og medier

Primærkilde: AWS Machine Learning Blog, "Unlocking AI flexibility in Europe: A guide to cross-region inference for EU data processing and model access". Source_url: https://aws.amazon.com/blogs/machine-learning/unlocking-ai-flexibility-in-europe-a-guide-to-cross-region-inference-for-eu-data-processing-and-model-access/

Thumbnail: OpenAI Image 2 / hogby.ai