Google kutter AI-minnebehov med 6x uten å miste ytelse

Google Research har presentert TurboQuant, en ny komprimeringsalgoritme som kan kutte minnebehovet til store språkmodeller med opp til seks ganger og akselerere beregningene med åtte ganger, uten tap av nøyaktighet.

Det er ikke en liten forbedring. Det er et potensielt paradigmeskifte for hele AI-bransjen.

Kjernen i TurboQuant er optimalisering av KV-cachen, som lagrer mellomliggende vektorrepresentasjoner for å unngå å beregne tidligere tokens på nytt. Ved å komprimere cache-presisjonen fra 16-bit til rundt 3-bit, reduseres minnebåndbreddetrykket dramatisk og cache-residensen forbedres.

Det som gjør TurboQuant spesielt interessant er at det ikke krever ny opplæring eller finjustering. Algoritmen kan integreres direkte i eksisterende inferansepipelines, noe som betyr at eksisterende modeller umiddelbart kan dra nytte av forbedringen.

Konsekvensene er betydelige: AI-systemer kan betjene langt flere brukere per GPU, svare raskere og støtte lengre kontekstvinduer uten å kreve ekstra maskinvare. For halvlederbransjen kan det bety redusert etterspørsel etter høybåndbredde-minne.

Google presenterer en artikkel om TurboQuant på ICLR-konferansen i Rio de Janeiro i slutten av april. Markedsreaksjonen var umiddelbar: Alphabet-aksjen fikk sitt største fall siden juni 2025 etter nyheten, fordi investorer frykter at algoritmen reduserer behovet for de dyre minnekortene som driver AI-boomen.