
La startup cinese DeepSeek ha proposto una nuova metodologia per affinare le capacità di ragionamento dei grandi modelli linguistici, concentrandosi in particolare sull’adattamento alle preferenze umane. In collaborazione con l’Università di Tsinghua, ha pubblicato su arXiv i risultati di una doppia tecnica che unisce generative reward modelling (GRM) e self-principled critique tuning. Il risultato è un framework progettato per migliorare la coerenza e l’affidabilità delle risposte degli LLM, mirando a generare output più rilevanti e coerenti dal punto di vista cognitivo.
Il generative reward modelling rappresenta una deviazione netta dai metodi di reward convenzionali, che utilizzano solitamente modelli discriminativi o supervisionati per valutare la qualità delle risposte. In questo approccio, invece, il modello di reward è generativo: durante la fase di fine-tuning, fornisce un feedback in linguaggio naturale, anziché limitarsi all’assegnazione di un punteggio. Questo tipo di risposta testuale è pensato per essere più ricco di informazioni e più facilmente assimilabile, permettendo al modello di convergere più efficacemente su alternative allineate alla logica e alle aspettative umane.
Il secondo elemento, denominato self-principled critique tuning, consente al modello di avviare una forma di revisione autonoma. Dopo aver generato diverse varianti di una risposta iniziale, il modello avvia una valutazione basata su criteri predefiniti come chiarezza, attendibilità, logica e coerenza, scegliendo poi la versione più solida o proponendo ulteriori modifiche. Si delinea così un processo iterativo che simula una revisione critica interna, avvicinando l’LLM a un comportamento più riflessivo e meno meccanico.
I test sperimentali condotti da DeepSeek mostrano che i modelli addestrati con questa strategia – noti come DeepSeek-GRM – competono con i migliori sistemi pubblici nel campo del reward modelling. I benchmark rivelano progressi evidenti non solo sul fronte della qualità delle risposte, ma anche in relazione alla precisione nei contesti complessi di ragionamento a più turni, una condizione cruciale per applicazioni aziendali avanzate.
Al momento, i nuovi modelli non sono ancora stati rilasciati al pubblico, ma DeepSeek suggerisce un’apertura nel prossimo futuro. L’azienda ha già condiviso codice e documentazione relativi all’architettura V3, progettata per migliorare sia l’elaborazione in lingua cinese sia la generazione di contenuti orientati allo sviluppo front-end. Ha inoltre pubblicato approfondimenti sulle ottimizzazioni architetturali, in particolare legate all’impiego di sparse attention native, finalizzate a ridurre il peso computazionale in fase di inferenza su input estesi.
Da un punto di vista strategico, DeepSeek si ritaglia uno spazio crescente nell’ecosistema dell’intelligenza artificiale internazionale, non solo per i risultati tecnologici ma anche per un’impostazione economica difficile da eguagliare. Il modello DeepSeek-R1 aveva già destato interesse per l’evidente vantaggio in termini di rapporto qualità-prezzo. Ora si parla con insistenza del modello R2, che – secondo fonti non ufficiali – potrebbe ampliare ulteriormente le capacità inferenziali, pur in assenza di annunci formali.
Il contesto politico ed economico in cui opera DeepSeek fornisce ulteriore slancio. La startup fa parte di una generazione di realtà AI sostenute da capitali propri o da grandi fondi statali focalizzati su tecnologie avanzate, come High-Flyer Quant. Si inserisce così in una narrazione più ampia in cui l’intelligenza artificiale viene considerata un asse strategico per l’autonomia tecnologica della Cina.
Se le metodologie GRM e di critica autonoma riusciranno a dimostrarsi scalabili e affidabili in ambienti reali, gli sviluppatori potranno beneficiare di LLM più stabili, capaci di autoregolarsi e meno dipendenti da interventi esterni. Resta da capire se tali progressi tecnologici riusciranno a essere trasposti efficacemente anche in domini specialistici o multilingue. E soprattutto, sarà cruciale osservare quale direzione prenderà la politica di rilascio: aperta, chiusa o ibrida. Una scelta che influenzerà profondamente la diffusione globale dei modelli DeepSeek.
Per approfondire: link all’articolo originale


