Google og Meta lar PyTorch-kode kjøre direkte på Googles TPU-brikker

Google og Meta har sluppet TorchTPU, en ny åpen kildekode-løsning som lar PyTorch-kode kjøre direkte på Googles egne KI-brikker, TPU-ene. Ifølge utviklerne skal eksisterende PyTorch-kode kjøre med små endringer, for eksempel ved å bytte «cuda» med «tpu» i koden. For norske virksomheter som trener eller drifter egne modeller, betyr det at Google Cloud blir et mer realistisk alternativ til GPU-er, men gevinsten må måles på egne arbeidslaster.

Kunngjøringen kom på PyTorch-prosjektets blogg 20. oktober 2026 kl. 18.00 norsk tid, skrevet av TorchTPU-teamet. PyTorch-kontoen på X fulgte opp kl. 19.45 samme kveld, mens PyTorch-konferansen i San Jose pågikk.

Fra omvei til egen motor

PyTorch er det mest brukte rammeverket for å bygge og trene KI-modeller. Googles TPU-er har tradisjonelt vært knyttet til Googles egne rammeverk, TensorFlow og JAX. Google lanserte i 2020 en første PyTorch-versjon for TPU, PyTorch/XLA. Ifølge blogginnlegget krevde den at utviklere endret kildekoden, den brukte lang tid på å kompilere og støttet ikke PyTorchs vanlige trinnvise kjøremodus.

TorchTPU er bygget på nytt som en egen motor for PyTorch på TPU. Arbeidet startet hos Google i midten av 2025, i samarbeid med PyTorch-teamet i Meta. Teamet skriver at koden ikke er avhengig av JAX når den kjører, at den støtter både trinnvis kjøring og kompilering med torch.compile, og at den fungerer med de vanlige PyTorch-verktøyene for å fordele trening over mange brikker.

Teamet er selv tydelig på grensen. En modell skal kjøre uten endringer utover valg av brikke, men den når ikke toppfart uten videre. Form, fordeling og operasjoner i en modell kan være tilpasset GPU-er og må justeres for å få full ytelse.

Hva som er på plass

Ifølge kunngjøringen støtter TorchTPU rundt 450 grunnoperasjoner i PyTorch. Teamet oppgir at de har testet at de 5000 mest nedlastede modellene på Hugging Face kjører uten tilpasning, blant dem Qwen, DeepSeek, Gemma, Llama, Mistral og Whisper. Løsningen er koblet til verktøy som vLLM og SGLang for å kjøre modeller i drift, og TorchTitan og Ray for trening.

Teamet skriver at TorchTPU allerede brukes i produksjon til både trening og kjøring av modeller hos noen av Google Clouds største kunder. Kundene er ikke navngitt. Koden ligger nå åpent på GitHub. Lisensvilkårene står ikke i blogginnlegget.

Egne tall, ikke uavhengig målt

Blogginnlegget inneholder en rekke ytelsestall. I trening skal Llama 3 405B ha nådd 500 tokens per sekund per brikke fordelt på 1024 brikker av typen TPU v7x. For kjøring av modeller oppgir Google at den kommende kombinasjonen av vLLM og TorchTPU ga lavest kostnad per million tokens i testen InferenceX, 2,01 cent, ned fra 3,6 cent i september. Alle tallene er valgt ut og publisert av utviklerne selv. De er ikke uavhengig etterprøvd, og kunngjøringen sier ikke hva TPU-kapasitet koster for en vanlig kunde.

For de neste 6 til 12 månedene oppgir teamet at arbeidet skal handle om å gjøre løsningen mer robust i drift, utvide støtten for flere modelltyper og legge til lavere tallpresisjon for neste generasjon brikker.

Flere brikker for samme kode

Dagen før, 19. oktober, presenterte Amazon et tilsvarende grep for sine egne Trainium-brikker, TorchNeuron. Til sammen viser kunngjøringene at de store skyleverandørene konkurrerer om å kjøre den samme PyTorch-koden på egne brikker. Det er vår vurdering at dette over tid kan svekke betydningen av hvilken brikke koden opprinnelig ble skrevet for.

Hva norske ledere bør merke seg

• Virksomheter som trener eller kjører egne modeller i PyTorch, får et nytt alternativ å forhandle med. Be teamet teste en reell arbeidslast på TPU før dere binder dere til mer GPU-kapasitet.
• Kostnadstallene i kunngjøringen er Googles egne og gjelder bestemte tester. Regn på egne volum og spør Google Cloud om faktisk pris, siden den ikke er oppgitt.
• I kunngjøringen kjøres TPU-ene i Google Cloud. Å flytte arbeidslaster dit kan redusere avhengigheten av én brikkeleverandør, men øker avhengigheten av én skyleverandør. Vurder begge deler i samme beslutning.
• Løsningen er i aktiv utvikling. Sjekk lisensen i GitHub-prosjektet og hvilke deler som er modne nok før noe settes i drift.

Kilder og medier

• PyTorch: Introducing TorchTPU, blogginnlegg publisert 20.10.2026 kl. 18.00 norsk tid
• PyTorch på X: Google og Meta lanserer TorchTPU, innlegg publisert 20.10.2026 kl. 19.45 norsk tid
• TorchTPU på GitHub
• Amazon: TorchNeuron runs PyTorch on AWS Trainium chips, publisert 19.10.2026
• Kildene ble sjekket 20.10.2026.
• Illustrasjon: KI-generert med Grok Bot / hogby.ai