Ogni volta che un sistema di intelligenza artificiale passa il testimone da un modello piccolo a uno più grande, o viceversa, paga un “pedaggio” nascosto, perché il modello che riceve il compito deve rileggere e ricalcolare da zero l’intera conversazione. Una ricerca di Nvidia, pubblicata lo scorso agosto, sostiene che gran parte di quel pedaggio si possa evitare ricorrendo a qualcosa di sorprendentemente elementare, l’algebra lineare.
Per capire il problema serve un passaggio sul funzionamento dei modelli linguistici. Quando ricevono un testo, eseguono una fase iniziale chiamata prefill, che costruisce una sorta di memoria di lavoro nota come KV cache. Da lì in poi il modello genera parole leggendo quella memoria, senza rianalizzare tutto ogni volta. Il guaio è che ciascun modello organizza la propria memoria in un formato diverso, e cambiare modello a metà sessione la rende inutilizzabile, obbligando a ricominciare, con costi e attese che crescono man mano che la conversazione si allunga.
La proposta dei ricercatori è tradurre direttamente la memoria di un modello nel formato atteso da un altro. La scoperta chiave è che la relazione tra le due memorie è in larga parte lineare, il che significa che basta una regressione calibrata su appena cinquecento sequenze di testo, e non un costoso addestramento di reti neurali. Il sistema seleziona quali strati del modello di partenza sono più utili per ricostruire ciascuno strato del modello di arrivo e, prima della traduzione, rimuove le informazioni sulla posizione dei token, così da funzionare anche su testi più lunghi di quelli usati in calibrazione.
I test hanno riguardato coppie di modelli della stessa famiglia, da Qwen3 a Llama 3.1 a Ministral, con dimensioni tra i tre e i settanta miliardi di parametri. In quattro casi su sei il metodo conserva tra il 73 e il 98 per cento dell’accuratezza del modello di destinazione, risultando da 2,7 a 25 volte più veloce del ricalcolo, con 278 millisecondi contro quasi sette secondi in un passaggio da 14 a 32 miliardi di parametri. Su due configurazioni Ministral l’approccio lineare crolla e serve una rete neurale più elaborata per recuperare oltre il novanta per cento.
Il valore della ricerca sta meno nei numeri che nella direzione. La memoria dei modelli sta diventando un’infrastruttura critica quanto i modelli stessi, come mostrano i lavori paralleli su compressione e sfoltimento della cache. Nell’era degli agenti che lavorano per ore, saper spostare il contesto invece di ricostruirlo sarà un vantaggio competitivo concreto, a patto che la tecnica superi il confine delle famiglie omogenee. Resta da capire se il futuro sarà fatto di modelli che si parlano davvero o di ecosistemi chiusi, dove ogni traduzione richiede il permesso di chi possiede il formato.
Per approfondire: link all’articolo originale
