Generare testo quattro volte più velocemente dei modelli tradizionali, abbozzando e raffinando interi blocchi di parole anziché produrne una alla volta. È la promessa di DiffusionGemma, il modello linguistico sperimentale open source che Google ha presentato il 10 giugno sotto licenza Apache 2.0. Un cambio di paradigma rilevante, che per la prima volta porta in modo concreto e accessibile l’approccio della diffusione, finora dominio quasi esclusivo della generazione di immagini, nel mondo del linguaggio naturale.
Per capire la portata della novità, occorre ricordare come funzionano i modelli linguistici classici. Sistemi come GPT o le precedenti versioni di Gemma generano testo in modo autoregressivo, ovvero prevedono il token successivo basandosi su quelli già prodotti. È un processo lineare, intrinsecamente seriale, che pone un limite fisico alla velocità. DiffusionGemma, invece, adotta la logica dei modelli di diffusione, partendo da un blocco di testo rumoroso e affinandolo progressivamente attraverso passaggi di denoising paralleli, lavorando su 256 token alla volta.
I numeri parlano chiaro. Il team di vLLM, che ha integrato nativamente il modello nella propria infrastruttura, riporta oltre 1200 token al secondo in output su una singola GPU H200 in precisione FP8, con batch size pari a 1. Si tratta di un modello da 26 miliardi di parametri, costruito sulla spina dorsale di Gemma4, con checkpoint FP8 e NVFP4 disponibili sull’hub di Red Hat AI. Già esistono versioni quantizzate GGUF a cura di Unsloth, eseguibili localmente con appena 18 GB di RAM tramite llama.cpp, con supporto a contesto fino a 256K token, ragionamento, immagini e video. Disponibile anche una suggestiva modalità di visualizzazione in tempo reale del processo di denoising.
La velocità di inferenza sta diventando il vero campo di battaglia dell’intelligenza artificiale generativa, ora che la qualità dei modelli ha raggiunto livelli difficilmente migliorabili con la sola scala. Un approccio diffusivo apre scenari interessanti per applicazioni in tempo reale, agenti conversazionali a bassa latenza ed editing testuale interattivo, dove la possibilità di rivedere contemporaneamente più porzioni di testo riflette meglio il modo in cui gli esseri umani scrivono e riscrivono. Resta da capire se la qualità reggerà il confronto con i migliori modelli autoregressivi su compiti complessi. Ma la scelta di rilasciare tutto in open source accelera inevitabilmente la sperimentazione collettiva, e forse è proprio da qui che emergeranno gli usi più sorprendenti, quelli che oggi facciamo fatica a immaginare.
Per approfondire: link all’articolo originale
