Google introduce Reformer, un modello AI che migliora la comprensione dei testi

Robot che legge

Transformer è un modello di machine learning, usato soprattutto nel Natural Language Processing, per eseguire traduzioni o riassunti di un testo. Presentato nel 2017, Transformer ha sostituito architetture basate su reti neurali ricorrenti, come ad esempio Long short-term memory (LSTM). La limitazione di queste ultime era l’incapacità di tenere in memoria abbastanza informazioni per “gestire” (tradurre, riassumere) interi testi, in genere la loro utilità era limitata a singole frasi.

Per riassumere o tradurre adeguatamente un testo serve capire il contesto, e questo lo si può fare solo conservando il significato delle frasi precedenti. Ma se i LSTM possono tradurre solo frase-per-frase, Transformer può generare interi articoli di Wikipedia attraverso la sintesi di molteplici documenti. Ciò è possibile perché la finestra di contesto utilizzata da Transformer si estende a migliaia di parole.

Tuttavia, l’estensione di Transformer a finestre di contesto ancora più grandi comporta limitazioni. Il potere di Transformer deriva dall’attenzione, il processo attraverso il quale il modello considera tutte le possibili coppie di parole all’interno della finestra di contesto per comprendere le connessioni tra di loro. Per le applicazioni che utilizzano finestre di contesto di grandi dimensioni – ad esempio lunghi testi – i requisiti di memoria per la memorizzazione dell’output di più livelli sono proibitivi (svariati terabyte per i modelli con migliaia di livelli).

In questi giorni però Google ha introdotto Reformer, un modello Transformer progettato per gestire finestre di contesto fino a 1 milione di parole, il tutto su un singolo acceleratore e utilizzando solo 16 GB di memoria. Combinando le tecniche del locality-sensitive-hashing (LSH) e dei livelli reversibili è possibile ridurre la memoria necessaria utilizzandola in maniera più efficiente.

Reformer può quindi comprendere un testo molto lungo e molto complesso, cosa che finora era possibile solo a costo di impegnare risorse eccessive, spianando la strada ad applicazioni di intelligenza artificiale in grado di capire i testi più efficacemente e senza mai perdere di vista il contesto.

Per approfondire: Reformer: The Efficient Transformer

Mi occupo da molti anni di intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Ho trascorso la maggior parte della carriera – trent'anni - nel settore della cybersecurity, dove fra le altre cose sono stato consigliere del Ministro delle Comunicazioni e consulente di Telespazio (gruppo Leonardo). Oggi mi occupo prevalentemente di intelligenza artificiale, lavorando con un'azienda leader del settore e partecipando a iniziative della Commissione Europea. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.