Google ha addestrato un modello NLP con più di un trilione di parametri

Un trilione sono mille miliardi. In una corsa a chi ha il modello di linguaggio più esteso, i ricercatori di Google hanno sviluppato e messo a punto metodi che, come affermano in una ricerca, hanno permesso di preparare un modello di elaborazione del linguaggio naturale con 1,6 trilioni di parametri, chiamato Switch Transformer.

In questo ambito di solito all’aumentare del numero di parametri aumenta anche la sofisticatezza del risultato, ne é la prova ad esempio GPT-3 di OpenAI, che con i suoi 175 miliardi di parametri è considerato il miglior modello NLP esistente. I parametri sono la chiave degli algoritmi di deep learning, ma aumentarli non significa necessariamente rendere il modello meno veloce. A Google affermano che Switch Transformer ha raggiunto una velocità fino a 4 volte superiore rispetto alla versione precedentemente sviluppata sempre da Google (T5-XXL).

Per saperne di più: Google trained a trillion-parameter AI language model

Sono partner e fondatore di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti l'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI), della Association for Computing Machinery (ACM) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.