Quando la realtà supera la finzione televisiva, Internet non perde occasione per sottolinearlo. Google Research ha presentato il TurboQuant, un algoritmo di compressione della memoria operativa dei sistemi di intelligenza artificiale che promette di ridurne il consumo di almeno sei volte senza perdite apprezzabili di qualità. La rete ha immediatamente tracciato il parallelo con Pied Piper, la startup immaginaria della serie HBO Silicon Valley, celebre per il suo algoritmo di compressione rivoluzionario. Al netto della battuta, la sostanza tecnica merita attenzione seria.
TurboQuant affronta un problema concreto e molto sentito nell’inferenza dei modelli linguistici, ovvero la cosiddetta KV cache, la memoria di lavoro che i modelli utilizzano quando generano risposte. Più lunga è la conversazione o il contesto da elaborare, più la KV cache cresce, fino a diventare un collo di bottiglia che rallenta le operazioni e fa lievitare i costi. L’approccio di Google si basa su una forma di quantizzazione vettoriale, una tecnica che riduce lo spazio occupato dai dati mantenendone l’essenza informativa. Due metodi specifici, PolarQuant e QJL, rendono possibile una compressione estrema e saranno presentati alla conferenza ICLR ad aprile.
Il CEO di Cloudflare Matthew Prince si è spinto a definire TurboQuant il “momento DeepSeek” di Google, richiamando l’impatto che il modello cinese ebbe a inizio 2025 dimostrando che si poteva fare di più con meno risorse. Il paragone è suggestivo ma va calibrato: DeepSeek riguardava l’efficienza dell’addestramento, mentre TurboQuant interviene esclusivamente sulla fase di inferenza. Non risolve quindi la fame insaziabile di memoria che caratterizza il training dei grandi modelli.
A pochi giorni dall’annuncio, la comunità open source si è già messa al lavoro. Sono comparsi fork per vLLM con percorsi ottimizzati e implementazioni in llama.cpp che permettono di far girare modelli come Qwen 3.5 con contesti estesi su hardware consumer, incluso un MacBook Air con chip M4 e soli 16 gigabyte di RAM. Non mancano tuttavia le ombre: una controversia emersa nelle ultime ore accusa il paper di Google di aver rappresentato in modo scorretto i confronti con RaBitQ, un metodo concorrente, utilizzando paragoni asimmetrici tra CPU e GPU. I benchmark su Apple Silicon mostrano inoltre cali di prestazioni rispetto alla precisione piena che andranno valutati con attenzione.
Dopo la corsa ai modelli sempre più grandi, il settore sta spostando il focus sull’efficienza. Rendere l’inferenza più leggera significa portare l’intelligenza artificiale su dispositivi personali, ridurre i costi energetici dei data center e allargare l’accesso a modelli potenti. Se le promesse di laboratorio reggeranno il confronto con la produzione su larga scala, e se le criticità metodologiche sollevate dalla comunità scientifica troveranno risposte convincenti, TurboQuant potrebbe rivelarsi un tassello importante in questa transizione. Resta da vedere se la realtà, come spesso accade con le intuizioni migliori, saprà reggere il peso delle aspettative.
Per approfondire: link all’articolo originale
