
NVIDIA ha lanciato Jet-Nemotron, una nuova serie di modelli linguistici che promette di rivoluzionare l’inferenza. Con un throughput fino a 53,6 volte più efficiente dei modelli full-attention principali e una riduzione dei costi su larga scala, Jet-Nemotron mira a eguagliare o superare l’accuratezza dei modelli attuali. Questo risultato è reso possibile grazie alla tecnica Post Neural Architecture Search (PostNAS), che permette di riadattare modelli pre-addestrati senza ricominciare da zero.
Il vero passo avanti consiste nell’eliminare il collo di bottiglia creato dai costi computazionali che crescono con l’espansione della finestra contestuale. Jet-Nemotron, con la sua architettura ibrida, migliora l’uso delle risorse mantenendo l’accuratezza. Se i risultati dichiarati dovessero confermarsi sul campo, potremmo vedere un aumento rilevante dei token al secondo e una riduzione della latenza, aprendo nuove possibilità prima impraticabili.
Al centro di tutto c’è PostNAS, che permette una riconfigurazione dell’architettura dopo il pre-addestramento, rendendo più rapida l’implementazione e migliorando i costi e l’impatto ambientale. Jet-Nemotron offre configurazioni da 2 e 4 miliardi di parametri, e NVIDIA sostiene che il throughput e l’accuratezza siano pari o superiori ai leader di mercato. Tuttavia, sarà cruciale validare queste affermazioni su vari carichi di lavoro e benchmark.
Le implicazioni di Jet-Nemotron sono ampie: la riduzione dei costi operativi rende accessibili i servizi conversazionali, supportando l’uso di modelli compatti nei settori regolamentati. Per le aziende cambia il Total Cost of Ownership dell’intelligenza artificiale generativa, mentre per gli esperti l’aggiornamento dei modelli tramite PostNAS potrebbe diventare uno standard. L’ottimizzazione architetturale post hoc apre nuove strade alla ricerca. Se le promesse saranno mantenute, potremmo assistere all’alba di una nuova era nell’ottimizzazione post-addestramento.
Per approfondire: link all’articolo originale


