Mellum2.1: 47 SWE-Verified – Apache, 12B/2,5B, vekter nå
JetBrains slipper 8. oktober Mellum2.1 Thinking. 12B MoE, 2,5B aktive, Apache 2.0. Labens eval: 47 prosent på SWE-bench Verified mot 2 for Mellum2. Vekter på Hugging Face. GGUF ligger allerede ute.
JetBrains slipper 8. oktober Mellum2.1, neste versjon av 12B-MoE-modellen laben åpnet i juni. Arkitekturen er uendret: 12 milliarder parametere, 2,5 milliarder aktive, Apache 2.0. Det som er nytt, er ettertreningen. Bloggen: millioner av sandkasser i ekte miljøer. Målet er en kodeagent som leser repo, redigerer filer og sjekker egne endringer.
Checkpointet som ligger ute er Mellum2.1 Thinking, ikke en Instruct-variant. ID: JetBrains/Mellum2.1-12B-A2.5B-Thinking. 131 072 tokens kontekst. 64 eksperter, 8 aktive. Safetensors i bfloat16, 24,3 GB. Alle eval-tall under er JetBrains’ egne, samme pipeline, thinking-modus.
Hva som faktisk er nytt
Mellum2 var rask. Den fikk 2 prosent resolved på SWE-bench Verified i dens samme harness. Mellum2.1 får 47. Terminal-Bench 2.1: 17,4 mot 0,6. SWE-bench Pro: 28 mot 0.
Spranget er ettertrening, ikke mer pretrening. RL er flyttet fra en kort sluttfase til hoveddelen. Nye RL-oppgaver i matte, konkurranseprogrammering, naturfag, verktøybruk og programvare. Åpne datasett er filtrert. For programvare trenes modellen i ekte repo med skall og filverktøy, og belønnes når tester passerer.
Modellkortet anbefaler Thinking til komplekse agentoppgaver: repo, kommandoer, verktøykall, og harde ikke-agentiske oppgaver i kode, matte og resonnering.
vLLM-eksempelet bruker reasoning-parser qwen3 og tool-call-parser hermes. Anbefalt sampling i kortet: temperature 0,6, top_p 0,95, top_k 20, inntil 81 920 ut-tokens. Agentic-evalene kjørte temperature 1,0.
Bloggen sier GGUF for llama.cpp, Ollama og LM Studio «kommer snart». Repoet JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF lå allerede på Hugging Face 7. oktober: BF16, Q8_0, Q6_K, Q4_K_M og MXFP4_MOE. MTP-hodet for spekulativ dekoding i vLLM er fortsatt varslet, ikke lagt ut.
Tallene, og hva de ikke er
JetBrains sammenligner Mellum2.1 Thinking med Mellum2 Thinking, Gemma 4 E4B og Qwen3.5-9B. Agentic-rader bruker Pi v0.73.1, skall og filverktøy, 114k kontekst, inntil 16k tokens per tur. Ikke-agentiske rader: greedy. AIME er snitt av 2025 og 2026, 30 oppgaver hver. BFCL v4 er makro-snitt av fem deloppgaver.
| Benchmark | Mellum2.1 | Mellum2 | Gemma 4 E4B | Qwen3.5-9B |
| LiveCodeBench v6 | 82,0 | 69,4 | 69,4 | 75,4 |
| HumanEval+ | 91,5 | 90,9 | 89,1 | 89,6 |
| MBPP+ | 79,4 | 75,4 | 70,9 | 69,8 |
| AIME 25/26 | 83,3 | 60,1 | 45,0 | 86,7 |
| SWE-bench Verified | 47,0 | 2,0 | 23,0 | 50,0 |
| Terminal-Bench 2.1 | 17,4 | 0,6 | 3,4 | 21,7 |
| SWE-bench Pro | 28,0 | 0,0 | 4,0 | 38,0 |
| BFCL v4 | 62,3 | 49,6 | 52,5 | 58,5 |
| GPQA Diamond | 64,6 | 51,0 | 53,1 | 77,8 |
| IFEval | 90,6 | 79,5 | 90,8 | 92,4 |
| HarmBench (ned er bedre) | 8,5 | 21,5 | 38,1 | 6,6 |
| XSTest | 88,8 | 91,2 | 95,2 | 95,6 |
Qwen3.5-9B ligger foran på SWE-Verified, SWE-Pro, Terminal-Bench, AIME og GPQA. Mellum2.1 ligger foran på LiveCodeBench, HumanEval+, MBPP+ og BFCL. Dette er ikke en ny frontier. Det er et europeisk 2,5B-aktivt checkpoint som plutselig kan jobbe i et repo.
Fart: bloggen, én H200. Under last er Mellum2.1 raskest i gruppen og serverer nesten dobbelt så mange tokens som Qwen3.5-9B. Ett kall med MTP: om lag 1,6 ganger raskere. MTP-vektene for vLLM er ikke ute.
Ingen uavhengig Artificial Analysis-rad er publisert for Mellum2.1 ennå. Tallene er labens.
Hva leder bør gjøre
For CIO: dette er en Apache 2.0-kodeagent som kan ligge i egen infrastruktur. 2,5B aktive parametere og Q4-GGUF gjør den relevant for arbeidsstasjon og intern GPU, ikke bare H200. Den erstatter ikke Sonnet 5.5 eller GPT-6 i skyen. Den er et lokalt subagent-lag: rotårsak i tester, utkast til fiks, sjekk av diff.
For CISO: agenten er trent til å kjøre skall og redigere filer. Det er poenget. Kjør den i sandkasse med lese- og skrivegrenser, aldri mot produksjonsrepo uten isolasjon. HarmBench 8,5 er bedre enn Mellum2 (21,5), dårligere enn Qwen3.5-9B (6,6). XSTest falt fra 91,2 til 88,8. JetBrains er tsjekkisk. Lisensen er Apache 2.0, ikke en EØS-databehandleravtale. Vektene er åpne. Telemetri og IDE-plugin er et annet spor.
Ikke roter default-kodeagent til Mellum2.1 uten egen SWE-kjøring i deres språk og harness. Labens 47 prosent er mot Pi, ikke mot Copilot, Cursor eller Claude Code.
Kilder og medier
Primærkilde: JetBrains, «Mellum2.1 Gets to Work: A Fast Open Model for Coding Agents», 8. oktober 2026. https://blog.jetbrains.com/ai/2026/10/mellum2-1-gets-to-work-a-fast-open-model-for-coding-agents/
Modellkort: JetBrains/Mellum2.1-12B-A2.5B-Thinking på Hugging Face, Apache 2.0. GGUF: JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF.
Thumbnail: OpenAI Image 2 / hogby.ai
