Meta, la società madre di Facebook, ha annunciato il rilascio di LLaMA, un modello linguistico più piccolo e più performante di altri LLM, cosa che ne facilita lo studio e l’implementazione da parte della maggior parte dei ricercatori, che non hanno accesso a grandi infrastrutture computazionali.
Gli LLM, o Large Language Model, sono sistemi di elaborazione del linguaggio naturale con miliardi di parametri e hanno dimostrato eccezionali capacità di generare testi creativi, risolvere teoremi matematici, prevedere le strutture delle proteine, rispondere a domande e altro ancora. Tuttavia, l’accesso a questi modelli da parte di chi fa ricerca rimane limitato a causa delle risorse necessarie per addestrarli e per lavorarci.
LLaMA è più piccolo degli altri LLM e contiene fino a 65 miliardi di parametri, il che lo rende più accessibile. Ma secondo Yann LeCun, Chief AI Scientist di Meta, le dimensioni non devono ingannare: anche se con meno parametri, LLaMA dimostra performance paragonabili ai più grandi modelli linguistici.
Per addestrare LLaMA, Meta ha scelto i testi di 20 lingue, concentrandosi su quelle con alfabeto latino e cirillico.
Nonostante i potenziali vantaggi dei modelli linguistici di grandi dimensioni, vi sono sempre in agguato rischi associati al loro utilizzo, come pregiudizi, tossicità e la possibilità di generare disinformazione. Per questo motivo Meta ha rilasciato LLaMA con una licenza non commerciale pensata per i ricercatori: l’accesso al modello sarà concesso caso per caso ad accademici, appartenenti a organizzazioni governative e a laboratori di ricerca – anche privati – in tutto il mondo.
Per approfondire: Introducing LLaMA: A foundational, 65-billion-parameter large language model
Paper: LLaMA: Open and Efficient Foundation Language Models
