NVIDIA ha presentato una versione ottimizzata del suo modello di ragionamento Nemotron-3-Nano-30B, capace di operare con una precisione numerica ridotta a soli 4 bit mantenendo prestazioni sorprendentemente vicine alla versione originale. Un risultato tecnico rilevante che potrebbe cambiare il modo in cui i modelli di intelligenza artificiale vengono distribuiti su hardware con risorse limitate.
Il cuore dell’innovazione risiede in una tecnica chiamata Quantization Aware Distillation, abbreviata in QAD. Per comprenderne il valore occorre fare un passo indietro. I modelli di intelligenza artificiale memorizzano le proprie conoscenze sotto forma di numeri, i cosiddetti parametri. Normalmente i numeri in questione richiedono 16 o 32 bit ciascuno per essere rappresentati con precisione. Ridurre la rappresentazione a 4 bit significa comprimere drasticamente lo spazio occupato in memoria e velocizzare i calcoli, ma comporta inevitabilmente una perdita di accuratezza. La QAD affronta il problema in modo elegante, facendo sì che durante la fase di compressione il modello originale funga da insegnante per la versione compressa, che impara a replicarne il comportamento attraverso una tecnica statistica nota come divergenza di Kullback-Leibler.
Il risultato finale è un modello ibrido che combina architetture diverse, specificamente Mamba2 e Transformer con una struttura a esperti multipli. Una configurazione che permette di gestire contesti fino a un milione di token, una capacità notevole che apre scenari applicativi prima impensabili per modelli così compressi. Alcuni strati del modello continuano a operare con precisione più elevata per preservare le funzionalità critiche.
Dal punto di vista pratico, la compressione si traduce in requisiti hardware decisamente inferiori. Un modello che prima richiedeva schede grafiche di fascia molto alta può ora funzionare su configurazioni più accessibili, democratizzando potenzialmente l’accesso a capacità di ragionamento avanzate.
Dopo anni di corsa verso modelli sempre più grandi, il settore sta maturando verso l’efficienza. NVIDIA, controllando sia l’hardware sia le tecniche software di ottimizzazione, si posiziona strategicamente al centro della transizione. Resta da vedere se la rincorsa alla compressione riuscirà a tenere il passo con la domanda di capacità sempre più sofisticate, o se ci troveremo di fronte a un nuovo compromesso da negoziare tra potenza e accessibilità.
Per approfondire: link all’articolo originale
