Un bilione sono mille miliardi. In una corsa a chi ha il modello di linguaggio più esteso, i ricercatori di Google hanno sviluppato e messo a punto metodi che, come affermano in una ricerca, hanno permesso di preparare un modello di elaborazione del linguaggio naturale con 1,6 bilioni di parametri, chiamato Switch Transformer.
In questo ambito di solito all’aumentare del numero di parametri aumenta anche la sofisticatezza del risultato, ne é la prova ad esempio GPT-3 di OpenAI, che con i suoi 175 miliardi di parametri è considerato il miglior modello NLP esistente. I parametri sono la chiave degli algoritmi di deep learning, ma aumentarli non significa necessariamente rendere il modello meno veloce. A Google affermano che Switch Transformer ha raggiunto una velocità fino a 4 volte superiore rispetto alla versione precedentemente sviluppata sempre da Google (T5-XXL).
Per saperne di più: Google trained a trillion-parameter AI language model
