Google ha addestrato un modello NLP con più di un bilione di parametri

Un bilione sono mille miliardi. In una corsa a chi ha il modello di linguaggio più esteso, i ricercatori di Google hanno sviluppato e messo a punto metodi che, come affermano in una ricerca, hanno permesso di preparare un modello di elaborazione del linguaggio naturale con 1,6 bilioni di parametri, chiamato Switch Transformer.

In questo ambito di solito all’aumentare del numero di parametri aumenta anche la sofisticatezza del risultato, ne é la prova ad esempio GPT-3 di OpenAI, che con i suoi 175 miliardi di parametri è considerato il miglior modello NLP esistente. I parametri sono la chiave degli algoritmi di deep learning, ma aumentarli non significa necessariamente rendere il modello meno veloce. A Google affermano che Switch Transformer ha raggiunto una velocità fino a 4 volte superiore rispetto alla versione precedentemente sviluppata sempre da Google (T5-XXL).

Per saperne di più: Google trained a trillion-parameter AI language model

Sono Head of Artificial Intelligence di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti all'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Ho trascorso la maggior parte della carriera – trent'anni - nel settore della cybersecurity, dove fra le altre cose sono stato consigliere del Ministro delle Comunicazioni e consulente di Telespazio (gruppo Leonardo). Oggi mi occupo prevalentemente di intelligenza artificiale, con consulenze sull'AI presso aziende private e per la Commissione Europea, dove collaboro con la European Defence Agency e il Joint Research Centre. Questo blog è personale.