Guardiamo più da vicino il Turing Natural Language Generation (T-NLG) di Microsoft, un modello con 17 miliardi di parametri che supera di gran lunga il precedente stato dell’arte in molti task di natural language processing (NLP). Finora il language model (LM) più vasto era Megatron-LM di Nvidia con 8,3 miliardi di parametri.
T-NLG, a detta di Microsoft, eccelle nella creazione di riassunti e nella risposta alle domande relative ai testi presi in esame. Il modello è basato su Transformer, il che significa che può anche generare testi per affrontare task aperti, come ad esempio completare una frase scritta dall’utente. Modelli del genere si definiscono generative language models.
I modelli generativi sono utilizzati ad esempio negli assistenti digitali, poiché consentono loro di rispondere in maniera diretta e fluida, come farebbe un essere umano, senza limitarsi esclusivamente al vocabolario o ai concetti così come espressi nei testi che devono analizzare.
Il numero di parametri poi è fondamentale. Nel post apparso sul blog di Microsoft, i ricercatori affermano che più è grande il modello e più diversificati e completi sono i dati di pre-training, migliori saranno le prestazioni del modello nel generalizzare quanto imparato su più attività, anche quando per ogni task sono forniti pochi testi di training. Per fare un esempio, un language model massivo e con un enorme database di pre-training riuscirà a fornire risultati soddisfacenti sia riassumendo un contratto legale, sia riepilogando la pagina sportiva di un giornale, nonostante siano ambiti con caratteristiche ed espressioni molto diverse.
T-NLG è anche in grado di rispondere con precisione alle domande su un dato testo o documento, generando la risposta in maniera diretta con una o più frasi di senso compiuto, senza dover copiare i passaggi del documento come fanno altri modelli, bensì generando una risposta ex novo.
Per ora Microsoft ha fatto partire solo una demo privata, ma in futuro T-NLG sarà inserito all’interno della suite Office, per consentire ai clienti del prodotto il riassunto di documenti e la risposta diretta a eventuali domande sul testo (c’è già chi lo ha chiamato Clippy 9000, un mix fra il vecchio office assistant di Microsoft e Hal 9000). Il gruppo che ha creato il modello, Project Turing, sta inoltre lavorando per integrare questo tipo di soluzioni in altri prodotti Microsoft, come il motore di ricerca Bing e la piattaforma Xbox.
Per approfondire: Turing-NLG: A 17-billion-parameter language model by Microsoft
