Hopp til hovedinnhold

DeepSeek legger ut motoren bak V4.1-Flash som åpen kildekode

DeepSeek har gjort DeepInfer, programvaren selskapet kjører egne modeller med, til åpen kildekode under Apache 2.0. Den støtter bare V4.1-Flash på NVIDIA og Huawei Ascend, og flere deler av en komplett tjeneste mangler.

Av Joachim HøgbyKilde: DeepSeek

DeepSeek har lagt ut DeepInfer, programvaren selskapet bruker til å kjøre sine egne språkmodeller i produksjon, som åpen kildekode. Koden er lisensiert under Apache 2.0 og kan brukes, endres og bygges inn i egne løsninger. Utgivelsen gjør det mulig for virksomheter å kjøre DeepSeeks modell på egen maskinvare med samme motor som DeepSeek selv bruker, men pakken er ikke en komplett tjeneste.

DeepSeek kunngjorde utgivelsen fra sin offisielle X-konto 20. oktober kl. 11.30 norsk tid. Selskapet skriver at DeepInfer driver DeepSeek-V4.1-Flash i stor skala med høy gjennomstrømning og lav forsinkelse, og at det deler produksjonsoppsettet for å hjelpe andre med å senke regnekostnader og energibruk.

Hva DeepSeek har gjort tilgjengelig

Kildekoden ligger i et offentlig kodelager under DeepSeeks organisasjon på GitHub. Ifølge dokumentasjonen gir denne utgaven offline-inferens med kjernefunksjonene som trengs for drift i stor skala. Inferens er arbeidet en modell gjør når den svarer på forespørsler, og er der de løpende kostnadene for KI i drift oppstår.

Dokumentasjonen lister blant annet optimaliserte beregningskjerner, flere former for parallellisering over mange GPU-er og en planlegger som overlapper arbeidet på prosessor og grafikkort. DeepInfer kan også gi identiske svar for identisk input med faste innstillinger, og tvinge svar inn i et bestemt format, som et JSON-skjema. Funksjonen for identiske svar virker ifølge DeepSeek bare på NVIDIA.

DeepSeek oppgir at DeepInfer opprinnelig i hovedsak er bygd på det åpne prosjektet vLLM, med inspirasjon fra SGLang og NVIDIAs TensorRT-LLM.

Smal støtte og tunge krav

Utgivelsen støtter én modell: DeepSeek-V4.1-Flash. Den støtter to typer maskinvare: NVIDIA-GPU-er av typen SM100 og Huawei Ascend 950. Programvaren krever Linux, Python 3.12 og enten CUDA 13 fra NVIDIA eller CANN 9.2 for Ascend.

DeepSeek skriver selv at tre deler som trengs for en komplett inferenstjeneste ikke er med: et system for mellomlagring av modellens arbeidsminne (KV-cache), oppdeling av ulike faser i svargenereringen på egne maskiner, og lastbalansering mellom flere kopier av modellen. Ytelsestallene i dokumentasjonen er målt på 4 GPU-er for den første fasen og 64 for selve tekstgenereringen. Tallene er bare gjengitt som grafer, uten tall i teksten.

Det DeepSeek ikke oppgir

Hovedsiden i dokumentasjonen oppgir ingen kostnadstall, ingen kommersiell støtteavtale og ingen tidsplan for de manglende delene. Den sier heller ikke om flere modeller eller annen maskinvare kommer. Hvor mye en virksomhet faktisk sparer, avhenger derfor av egen maskinvare, egen drift og hvor mye utviklingsarbeid som trengs for å fylle hullene.

Hva det betyr for norske ledere

Vurdering: Utgivelsen senker terskelen for å kjøre DeepSeeks modell i eget datasenter eller hos en europeisk driftsleverandør, i stedet for å sende data til DeepSeeks egne tjenester. Det er et argument som veier tungt der data ikke kan forlate egen kontroll.

  • Den som vurderer egen drift av åpne modeller, bør regne på totalen: maskinvare av denne klassen, strøm og kompetanse til å bygge det DeepSeek ikke har lagt ved. Pakken er en byggekloss for et driftsmiljø, ikke en ferdig tjeneste.
  • Støtten for Huawei Ascend ved siden av NVIDIA viser at DeepSeek bygger for to parallelle maskinvarespor. Vurdering: For innkjøp betyr det at modellvalg og maskinvarevalg i økende grad henger sammen.
  • Åpen kode under Apache 2.0 kan gjennomgås av egne folk eller en tredjepart. Virksomheter med egne retningslinjer for kinesiske leverandører bør vurdere både modellen og koden etter dem før de tar noe i bruk.

Kilder og medier

Mer om DeepSeek

Oppskriften. Strategien. Hver dag.

AI-nyheter for ledere. Kuratert av en CIO som bygger det selv. Daglig i innboksen.