Meta lanserer Llama 4: Åpen multimodal AI med 10 millioner token kontekstvindu

Meta lanserte 5. april Llama 4 Scout og Llama 4 Maverick, to åpne AI-modeller bygd på Mixture-of-Experts (MoE)-arkitektur. Det er første gang Meta lanserer nativt multimodale modeller som kan forstå tekst, bilder og video samtidig.

Llama 4 Scout skiller seg ut med et kontekstvindu på hele 10 millioner tokens, det lengste tilgjengelige i noen åpen modell. Modellen har 17 milliarder aktive parametere fordelt på 16 eksperter, og kan kjøre på én enkelt NVIDIA H100 GPU med Int4-kvantisering. Llama 4 Maverick bruker den samme aktive parameterstørrelsen, men er trent med 128 eksperter, totalt 400 milliarder parametere, og retter seg mot samtale- og kreative oppgaver.

Begge modellene er trent på over 30 billioner tokens, dobbelt så mye treningsdata som Llama 3, og dekker 200 språk. De er tilgjengelige for nedlasting på Hugging Face og llama.com, og drives allerede Meta AI i WhatsApp, Messenger og Instagram.

Bak kulissene finnes Llama 4 Behemoth, en massiv modell med 288 milliarder aktive parametere og nær 2 billioner totale parametere, som er brukt som lærermodell for Scout og Maverick. Meta hevder Behemoth allerede overgår GPT-4.5, Claude Sonnet og Gemini 2.0 Pro på STEM-benchmarks.

For norske bedrifter og utviklere er dette særlig relevant: åpne modeller med lang kontekst og multimodal støtte gjør det mulig å bygge avanserte internt hostede AI-løsninger uten avhengighet av skyleverandører.