Un laboratorio di ricerca con radici al Caltech ha presentato un modello linguistico che potrebbe cambiare le regole del gioco per chi vuole utilizzare l’intelligenza artificiale senza dipendere da server remoti e infrastrutture costose. Si chiama Bonsai 8B, è stato sviluppato da PrismML e la sua particolarità risiede in una compressione estrema: ogni parametro del modello è rappresentato con un solo bit, contro i sedici o trentadue comunemente utilizzati nei modelli tradizionali.
Il risultato pratico è notevole, almeno sulla carta. Il modello occupa appena 1,15 gigabyte, una dimensione che lo rende compatibile con dispositivi locali come laptop, smartphone e hardware embedded. PrismML dichiara che Bonsai 8B è circa quattordici volte più piccolo rispetto a modelli comparabili, otto volte più veloce nell’inferenza e cinque volte più efficiente dal punto di vista energetico. Il concetto chiave che il laboratorio propone è quello di densità di intelligenza, ovvero quanta capacità di ragionamento si riesce a ottenere per ogni byte di memoria occupato. Secondo i dati forniti, Bonsai supera di oltre dieci volte i modelli standard su questa metrica.
La quantizzazione a 1 bit non è applicata in modo parziale, come accade in molte tecniche di compressione già diffuse, ma coinvolge ogni componente del modello, dagli strati di embedding ai meccanismi di attenzione, dai blocchi MLP alla testa di output. Un approccio end-to-end che rappresenta un passo avanti rispetto ai lavori precedenti su modelli a bassa precisione come BitNet, dai quali Bonsai sembra ereditare la filosofia migliorandone però la qualità delle risposte. PrismML ha rilasciato i modelli più piccoli con licenza Apache 2.0, una scelta che ne favorisce adozione e sperimentazione nella comunità open source.
Vale la pena segnalare che per eseguire Bonsai è attualmente necessario un fork dedicato di llama.cpp, il popolare framework per l’inferenza locale, poiché le operazioni a 1 bit richiedono kernel specifici non ancora integrati nella versione principale. La comunità di LocalLLaMA su Reddit ha accolto il modello con interesse, riconoscendone i miglioramenti qualitativi rispetto ai predecessori pur segnalando alcune limitazioni, in particolare nella generazione di codice.
La direzione di ricerca si inserisce in una tendenza che appare sempre più definita, quella di rendere i modelli linguistici abbastanza compatti da funzionare ovunque, senza connessione a internet e senza hardware specializzato. Se i modelli a 1 bit dovessero raggiungere una qualità sufficientemente vicina ai loro equivalenti a piena precisione, le implicazioni sarebbero profonde. Si aprirebbe la strada a un ecosistema in cui l’intelligenza artificiale opera direttamente sui dispositivi degli utenti, con vantaggi evidenti in termini di privacy, latenza e accessibilità. Il fatto che un laboratorio giovane come PrismML riesca a produrre risultati di questo calibro suggerisce che la corsa alla miniaturizzazione intelligente è appena cominciata, e potrebbe rivelarsi altrettanto trasformativa della corsa al modello più grande.
Per approfondire: link all’articolo originale
