ASUS lanserer verdens første USB AI-akselerator med generativ AI-støtte

ASUS har lansert UGen300, verdens første USB edge AI-akselerator med innebygd støtte for generativ AI. Enheten er utstyrt med en Hailo-10H AI-prosessor som leverer 40 AI TOPS og 8 GB LPDDR4-minne, alt i en kompakt USB-C-enhet som bruker bare 2,5 watt.

UGen300 gjør det mulig å kjøre store språkmodeller (LLM) og visjon-språkmodeller (VLM) lokalt på enhver maskin med USB-C-port. Enheten støtter Windows, Linux og Android, og er kompatibel med TensorFlow, PyTorch og ONNX rett ut av boksen. En M.2-versjon er også tilgjengelig.

Den kompakte størrelsen på 105 x 50 x 18 mm gjør UGen300 til en plug-and-play-løsning som gir AI-akselerasjon til maskiner som mangler dedikert NPU eller GPU-kraft. Prosessoren supplerer vertsenhetens CPU og frigjør systemressurser.

For bedrifter som ønsker å kjøre AI-inferens lokalt uten skyavhengighet, representerer dette en interessant utvikling. Edge AI med USB-tilkobling senker terskelen for lokal AI-prosessering dramatisk, noe som er relevant for personvern, latens og kostnadskontroll.

Hailo-sjef Max Glover kaller lanseringen et bevis på at AI skal være «tilgjengelig, rimelig og bygget for alle».