Quando dici che l’addestramento di un modello NLP come GPT-3 può costare non meno di 4,6 milioni di dollari molti ovviamente si meravigliano. Com’è possibile che creare intelligenza artificiale sia così costoso?
C’è da dire anzitutto che si tratta di un certo tipo di intelligenza artificiale, in questo caso parliamo di un language model che necessitano di reti neurali gigantesche per poter produrre risultati accettabili.
La realtà però è che in diversi ambiti dell’intelligenza artificiale si sta accentuando un fossato che divide i colossi della tecnologia dalle aziende normali (ne parlavo già nel 2019): i primi hanno soldi e risorse per addestrare modelli di intelligenza artificiale sempre più complessi e sofisticati. Le seconde sono lì dietro che si affannano a rincorrere, o che decidono direttamente di perseguire altre vie.
E allora che dire della previsione di Bryan Catanzaro, VP della Ricerca per il Deep Learning Applicato presso Nvidia, che ritiene non sia per niente impossibile pensare a un’azienda che fra cinque anni decida di investire un miliardo di dollari per addestrare un singolo modello NLP?
In un’intervista al sito The Next Platform, Catanzaro spiega così il suo ragionamento: “Questi modelli sono così adattabili e flessibili e le loro capacità sono così correlate con le loro dimensioni che potremmo effettivamente vederli fornire diversi miliardi di dollari di valore da un singolo modello, quindi nei prossimi cinque anni spendere un miliardo in calcolo per addestrare questi modelli potrebbe avere senso.”
Ora, è vero che i modelli NLP offrono spesso prestazioni correlate con le loro dimensioni (più sono grandi in termini di parametri, meglio si comportano), ma anzitutto – pur non negando la logica di base dietro al ragionamento – io devo ancora vedere una prova che GPT-3 stia portando profitti nelle casse di OpenAI. Poi ovviamente la sensazione che il discorso di Bryan Catanzaro sia pro domo sua non è del tutto da ignorare, visto che Nvidia è uno produttori di hardware che più avrebbe da guadagnare da una corsa all’addestramento spinto.
Ad ogni modo, fatte queste dovute precisazioni, le previsioni di Catanzaro secondo me sono plausibili. Non so se ci si arriverà fra cinque anni, ma per come stanno andando le cose l’investimento di un miliardo di dollari da parte di uno o più colossi della tecnologia su un modello di deep learning inizia a essere una previsione verosimile.
