DeepMind måler læringseffekt av Gemini i klasserom

Google DeepMind har publisert resultater fra en randomisert kontrollert studie av Gemini-basert læring i Sierra Leone. Det gjør saken mer interessant enn en vanlig produktlansering. Her finnes det et målt forsøk, en tydelig pedagogisk metode og tall ledere kan diskutere uten å lene seg på anekdoter.

Studien ble gjennomført sammen med Fab AI og med støtte fra Sierra Leones utdanningsmyndigheter. Over åtte uker ble Gemini Guided Learning testet i matematikkundervisning for 1 763 elever ved 12 ungdomsskoler i Port Loko District. DeepMind skriver at elevene som brukte løsningen fikk en fremgang på 0,258 standardavvik i matematikk sammenlignet med kontrollgruppen. Selskapet oversetter dette til om lag 1,2 til 1,7 år med typisk læringsprogresjon i løpet av den åtte uker lange perioden.

Tallene er sterke nok til å tas på alvor, og tidlige nok til å kreve nøkternhet. Dette er én studie, i én kontekst, over kort tid. Den sier ikke at AI alene løser skole, kompetanse eller produktivitet. Den sier at nøye designet AI-bruk, i et styrt opplegg med lærere til stede, kan gi målbar effekt. Det er en viktigere observasjon enn enda en demonstrasjon av en chatbot som svarer pent på spørsmål.

DeepMind peker også på adferdsdata fra over 113 000 interaksjoner i forsøket. Ifølge selskapet økte andelen ferdighetsbyggende spørsmål fra 68 prosent i første uke til 90 prosent i siste uke. Spørsmål som primært søkte direkte løsning falt fra 25 til 10 prosent. Det er relevant fordi den vanligste bekymringen i utdanning ikke bare er juks, men at elevene mister den krevende delen av læringen. Studien hevder at Guided Learning-oppsettet styrte elevene mer mot forståelse enn snarveier.

Fra AI-demo til effektmåling

For norske ledere er hovedpoenget ikke Sierra Leone i seg selv. Poenget er at AI-adopsjon beveger seg fra entusiasme til måling. Det gjelder i skolen, men også i virksomheter som bruker AI til opplæring, kundeservice, saksbehandling, utvikling eller intern analyse. Spørsmålet blir mindre: «Har vi rullet ut AI?» Det blir mer: «Hvilken effekt måler vi, sammenlignet med en kontrollgruppe eller et før-nivå?»

Mange organisasjoner har hittil målt AI med aktivitetsdata: antall brukere, antall prompts, antall lisenser, antall automatiserte oppgaver. Det er svakt styringsgrunnlag. DeepMind-saken viser en mer moden modell: definer en konkret arbeids- eller læringsoppgave, bygg en metode rundt AI-bruken, sett opp kontroll, og mål resultat over tid. Det er krevende, men det skiller effekt fra intern teaterbruk.

Studien gir også et korrektiv til to dårlige ytterpunkter. Det ene er å tro at generativ AI skal erstatte lærere, eksperter eller fagpersoner. DeepMind formulerer selv resultatet som en pedagogisk partner, ikke en erstatning. Det andre ytterpunktet er å avvise AI i kunnskapsarbeid fordi modellen kan gi feil svar. I forsøket er modellen satt inn i en ramme som prioriterer veiledning, ikke bare svar. For virksomheter er det samme prinsipp: AI bør ofte ligge i en arbeidsflyt som trener vurdering, dokumenterer fremgang og gir fagpersoner kontroll.

Hva dette betyr for norske virksomheter

CIO-er og HR-ledere bør merke seg metoden. Hvis AI skal brukes til intern kompetansebygging, bør pilotene ha tydelige mål. Eksempler kan være raskere onboarding i et ERP-system, bedre kvalitet i førstelinjesupport, tryggere bruk av sikkerhetsrutiner eller mer presis analyse i økonomi og innkjøp. Mål læring og kvalitet, ikke bare tidsbruk.

Offentlig sektor bør lese saken som et argument for kontrollerte forsøk. Skole, helse og NAV-lignende saksområder trenger ikke vente på perfekte modeller før alt testes. Men de bør kreve studiedesign, dataminimering, kontrollgrupper der det er mulig, og klar rollefordeling mellom fagperson, bruker og AI-system.

CISO og DPO har også en rolle. Utdanning og opplæring produserer sensitive data om mestring, fremgang og svakheter. Slike data er verdifulle og sårbare. Hvis AI-læring flyttes inn i virksomheter og skoler, må logging, datalagring, modelltilgang og leverandøravtaler avklares før løsningen skaleres.

Det viktigste med DeepMind-publiseringen er derfor ikke at Gemini gjorde det bra i et forsøk. Det viktigste er at en stor AI-aktør nå legger frem en målt effektstudie som en del av produkt- og samfunnsfortellingen. Det skjer samtidig som styrer og ledere ber om mer dokumentasjon på avkastning fra AI-investeringer. Svaret blir sjelden ett stort business case. Det blir mange mindre, målbare forsøk med tydelig faglig ramme.

For hogby.ai-lesere er anbefalingen enkel: neste AI-pilot bør ha et evalueringsdesign før første lisens deles ut. Hvis gevinsten ikke kan måles, er piloten sannsynligvis for uklar.

Kilder og medier

Primærkilde: Google DeepMind, https://deepmind.google/blog/measuring-the-impact-of-learning-with-ai-in-sierra-leone-and-beyond/

Kildekreditering: Google DeepMind er brukt som primærkilde for studiedesign, dato, deltakerantall, målte resultater og beskrivelse av Gemini Guided Learning. Tallene er presentert som DeepMinds egne publiserte resultater fra studien.

Thumbnail: OpenAI Image 2 / hogby.ai