Arriva Cedille, il “GPT” francese

Libro francese

È stato rilasciato Cedille, il più grande modello di linguaggio NLP in lingua francese, realizzato nella Svizzera romanda. I ricercatori di Coteries, un’azienda dell’EPFL Innovation Park a Losanna, hanno realizzato Cedille partendo da GPT-J, un modello open source sviluppato da Eleuther.ai.

Cedille ha 6 miliardi di parametri ed è stato addestrato grazie alla donazione di risorse di Google TRC (TPU Research Cloud), il programma di Google che consente ai ricercatori di accedere a un cluster con più di mille TPU (Tensor Processing Unit, chip specifici per operazioni AI) nel cloud.

Un potente modello in lingua francese consente ovviamente all’ecosistema francofono di ottenere servizi di elaborazione del linguaggio naturale di qualità superiore, considerando che finora la grandezza e la complessità dei sistemi – comunemente misurata in parametri – è sempre stata fortemente correlata all’aumento della qualità dei risultati.

Da questo punto di vista con i suoi sei miliardi di parametri Cedille è a tutti gli effetti il modello di linguaggio francese più grande, superando PAGnol, rilasciato nel maggio di quest’anno, che si ferma a 1,5 miliardi. Prima di allora i modelli di linguaggio francesi più rilevanti erano CamemBERT, con 335 milioni di parametri, e FlauBERT con 138 milioni nella sua versione base e 373 milioni di parametri nella versione estesa.

E in Italia? Anche noi abbiamo i nostri modelli di linguaggio, a cominciare da Tint del 2016, AlBERTo del 2019 con 110 milioni di parametri, come GilBERTo del 2019, oltre che UmBERTo e GePpeTto del 2020, rispettivamente con 110 milioni e 117 milioni di parametri.

(se vi state domandando il perché di certi nomi, tenete presente che i modelli il cui nome è un gioco di parole con “BERT” si basano su BERT di Google o su RoBERTa di Facebook, ma se in generale vi incuriosisce la scelta dei nomi leggete qui)

Tuttavia, nessuno di questi sforzi riesce a raggiungere il traguardo di GPT-3, con 175 miliardi di parametri, di Switch Transformer con 1 bilione di parametri o del cinese Wu Dao 2.0 con ben 1,75 bilioni (1750 miliardi) di parametri. Numeri inarrivabili senza investimenti pluri-miliardari, che per lingue “regionali” come la nostra difficilmente arriveranno presto.

Sono partner e fondatore di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti l'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI), della Association for Computing Machinery (ACM) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.