EmbeddingGemma 2: 740M – Apache, 191 MB tekst, vekter nå

Google DeepMind slipper EmbeddingGemma 2 6. oktober. 740 millioner parametere totalt. Nativt multimodal: tekst, kode, bilde, video og lyd i ett 768-dimensjonalt vektorrom. Apache 2.0. Vektene ligger på Hugging Face og Kaggle i dag.

Det er en embedding-modell, ikke en chatmodell. Den svarer ikke. Den mapper innhold til vektorer for søk, RAG, klassifisering og klynging, på enheten.

Hva laben måler

Bygget på Gemma 4. Modulær: 270M for tekst og kode, pluss 170M visjon, pluss 300M lyd. Last bare det du trenger. 440M for tekst og bilde. 570M for tekst og lyd. 740M for alt. Tekstbasen er 130M transformer og 140M embedder.

Kontekst 8 192 tokens, fire ganger EmbeddingGemma 1. Modellkortet: opptil om lag 29 bilder, 58 videoframes eller 327 sekunder lyd i samme vindu. 280 tokens per bilde som default. 140 per videoframe. 25 per sekund lyd. Interleaved input deler samme budsjett.

MRL: native 768 dimensjoner, kan kappes til 512, 256 eller 128. Laben: inntil 6x mindre vektorlager. Etter kapping må vektoren L2-normaliseres. Query og dokument må bruke samme dimensjon. Uten renormalisering faller rangering stille.

Alle tall under er Googles, full presisjon, 768d, mot egen forrige versjon. Ingen uavhengig Artificial Analysis-plassering.

MTEB multilingual v2: 61,36 mot 61,15. Tekst er i praksis uendret. MTEB Code v1: 78,68 mot 68,76. Det er løftet. MIEB lite, bilde: 64,64. MMEB v2 overall: 59,01. Bilde 57,28 Hit@1. VisDoc 67,84 NDCG@5. Video 50,67 Hit@1. MSEB retrieval, lyd: 69,54. MAEB: 49,39.

Ved 256d: MTEB multilingual 60,41, kode 76,18, MMEB v2 56,24. Laben kaller det nær tapsfritt ned til 256. Ved 128d faller multimodal kvalitet merkbart: MMEB v2 45,65 mot 59,01, MSEB 56,71 mot 69,54. 128d er for tekstindeks og first-stage, ikke for bilde- og lydsøk uten egen validering.

Pixel 11 Pro, kvantisert, Googles tall: om lag 191 MB aktiv RAM for tekstvekter, om lag 567 MB for full multimodal. Utviklerguiden: 1 million 768d-vektorer i bfloat16 om lag 1,5 GB. 128d om lag 250 MB.

Hva det betyr for CIO og CISO

Dette er on-device, ikke Vertex. Gemini Embedding 2 fra mars er sky-API med 3072 dimensjoner. EmbeddingGemma 2 er åpne vekter, 768 dimensjoner, Apache 2.0. To produkter. Ikke bytt dem i innkjøp.

Personvernargumentet er konkret: embedding skjer på laptop, telefon eller edge uten at dokumenter, opptak eller kodebase går til Google. Det er GDPR-relevant for intern søk og RAG der sky-embedder er stengt. Det er ikke et ferdig DPIA.

Lisensen er Apache 2.0 ifølge blogg, modellkort og utviklerguide. Det er mer permissivt enn typisk Gemma-lisens. Juridisk gjennomgang hører hjemme i innkjøp, ikke i en Slack-tråd.

CISO: on-device fjerner sky-utlekk. Det fjerner ikke forsyningskjede. Vektene kommer fra Google. Fine-tuning, kvantisering og float16-fellen er driftsrisiko. Modellkortet: ikke kjør float16. Aktiveringsområdet overstiger float16. Resultatet er NaN eller stille degraderte vektorer, ikke en feil. Bruk bfloat16 eller float32.

Kodeindeksering er den reelle CIO-casen. 9,92 poeng på MTEB Code. Lokal kodeagent-RAG mot Gemma 4, delt tokenizer og lydencoder, lavere samlet minne. Det er labens arkitekturpåstand, ikke en ferdig enterprise-SLA. Task-prefix styrer vektorene. Uten prefix faller presisjon. Dokumenter med tittel skal formateres. Det er operativt, ikke pynt.

Lagringsregnestykket betyr noe for on-prem vektordata. Det betyr ingenting for ChatGPT-regningen. MediaPipe Decision Task API gir zero-shot ruting mot etiketter uten finjustering. Det er en demo-flate, ikke et SOC-produkt.

Begrensninger

Tallene er Googles mot EmbeddingGemma 1, ikke mot Voyage, Cohere eller Gemini Embedding 2 i sky. Pixel-tall er ett kamera. Enterprise-laptops og CPU uten bfloat16 er et annet. 128d ødelegger multimodal recall. float16 feiler stille. Gemini Enterprise Agent Platform Model Garden er varslet, ikke live. Dette er ikke en frontiermodell og ikke en erstatning for sky-embedder i stor skala.

Kilder og medier

Primærkilde: Google DeepMind, «EmbeddingGemma 2: an open, lightweight multimodal embedding model», 6. oktober 2026. https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/

Supplerende: Google, EmbeddingGemma 2 model card, 6. oktober 2026. https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2

Thumbnail: OpenAI Image 2 / hogby.ai