
In questi giorni il settore è in tumulto a causa di questo laconico tweet di Ilya Sutskever:
it may be that today's large neural networks are slightly conscious
— Ilya Sutskever (@ilyasut) February 9, 2022
Traduzione: “potrebbe essere che i grandi modelli di linguaggio odierni siano leggermente coscienti“
Una doverosa premessa: Ilya Sutskever è probabilmente una delle ragioni per cui in questo momento state leggendo un pezzo sull’intelligenza artificiale. Dobbiamo infatti a lui, ad Alex Krizhevsky e (soprattutto) a Geoff Hinton le intuizioni che dieci anni fa contribuirono alla rivoluzione del deep learning.
Due brevissimi cenni di storia recente dell’AI. Dapprima considerate dalla comunità come un ambito di ricerca pressoché fallimentare, le reti neurali profonde hanno dimostrato di essere pronte per le applicazioni nel mondo reale grazie ad AlexNet, una rete neurale convoluzionale (CNN, Convolutional Neural Network) che nel 2012 vinse a mani basse ImageNet, una competizione per il riconoscimento degli oggetti all’interno di un corpus di immagini.
AlexNet era il modello di Hinton, Krizhevsky e Sutskever, che al tempo si trovavano tutti all’Università di Toronto, in Canada. Il loro paper a oggi è stato citato oltre 75.000 volte e da quel momento la ricerca sul deep learning e le applicazioni nel mondo reale diedero il via alla nuova “primavera” dell’intelligenza artificiale, che ha rinnovato l’interesse generalizzato per questa disciplina e che porta oggi milioni di persone a occuparsi di AI.
Non che loro fossero gli unici a lavorare sulle CNN. Negli stessi anni se ne occupavano, per fare un esempio, anche diversi ricercatori dell’IDSIA, l’Istituto Dalle Molle di Studi sull’Intelligenza Artificiale, un’importante istituzione nella Svizzera italiana creata negli anni Ottanta da Angelo Dalle Molle (l’inventore del Cynar). Il loro paper del 2011 (un anno prima di AlexNet) “Flexible, High Performance Convolutional Neural Networks for Image Classification” presentava una rete neurale molto simile ad AlexNet, ma la scintilla che fece partire la rivoluzione del deep learning scoccò dal trio di Toronto (che comunque nel paper di AlexNet citano l’IDSIA) e la storia premiò Hinton, Krizhevsky e – per l’appunto – quell’Ilya Sutskever di cui ci occupiamo oggi.
Sutskever, che Cade Metz nel libro (consigliatissimo) The Genius Makers: The Mavericks Who Brought A.I. to Google, Facebook, and the World descrive come “ambizioso, impaziente e addirittura assillante“, venne prima reclutato in Google Brain, dove collaborò con la controllata DeepMind sul paper di AlphaGo. Poi fondò OpenAI, il laboratorio di San Francisco a cui dobbiamo, fra le altre cose, il modello di linguaggio GPT-3.
Lo fondò, assieme a Elon Musk (che successivamente si ritirò dal progetto), Sam Altman e altri, con lo scopo di arrivare all’intelligenza artificiale generale (AGI, Artificial General Intelligence), ovvero quel tipo di intelligenza senziente, cosciente, per molti versi simile a quella che abbiamo noi esseri umani. Sutskever assunse il ruolo di direttore della ricerca, posizione che mantiene ancora oggi.
Con queste considerazioni alle spalle torniamo alla frase di Sutskever, che nella bio di Twitter scrive semplicemente “AGI presso OpenAI”. Egli afferma, senza scherzare, che vi è la possibilità che i grandi modelli di linguaggio (del tipo che realizza OpenAI) siano “leggermente” coscienti.
Quello della coscienza è un punto molto dibattuto nel settore dell’intelligenza artificiale. Far raggiungere a un modello AI dei minimi livelli di coscienza sarebbe uno degli elementi che segnalerebbero che siamo molto vicini all’intelligenza artificiale generale. Molti ricercatori non escludono a priori la possibilità: se anche noi, esseri basati sul carbonio con un cervello fatto di materia biologica e impulsi elettrici, abbiamo sviluppato una coscienza, non si vede perché qualcosa basato sul silicio e impulsi elettrici un giorno non possa fare altrettanto.
Del resto ben due laboratori molto conosciuti, generosamente finanziati e con tanti ricercatori di successo, mi riferisco a OpenAI e DeepMind, hanno come fine ultimo proprio quello di arrivare all’AGI.
Ci sono però due problemi principali. Il primo è che ancora oggi non sappiamo bene cosa sia la coscienza, il secondo è che discussioni di questa portata (soprattutto quando non sono suffragate da solide prove) fanno più male che bene al settore dell’intelligenza artificiale. Giornali e blog non vedono l’ora di enfatizzare la cosa, dirottando la narrativa verso i soliti Terminator che si risvegliano e conquistano il mondo, distogliendo l’attenzione da questioni ben più importanti. Probabilmente è per questo che il tweet di Sutskever ha avuto più che altro reazioni negative.
Il più contrariato di tutti è stato Yann LeCun, inventore negli anni Ottanta delle CNN a cui facevamo riferimento più in alto, e da molti anni responsabile del laboratorio di intelligenza artificiale a Facebook/Meta, che sempre via Twitter ha risposto direttamente a Sutskever (traduzione libera): No. Non sarebbe vero neanche se il “leggermente cosciente” fosse piccolo e le “grandi reti neurali” fossero grandi. Penso che avreste bisogno di un particolare tipo di macro-architettura che nessuna delle attuali reti neurali possiede.
Nope.
Not even for true for small values of "slightly conscious" and large values of "large neural nets".
I think you would need a particular kind of macro-architecture that none of the current networks possess.— Yann LeCun (@ylecun) February 12, 2022
Una risposta netta da parte di uno dei più grandi ricercatori di intelligenza artificiale che deve aver fatto oltremodo infastidire Sam Altman, co-fondatore e CEO di OpenAI, che ha attaccato LeCun con un tweet passivo-aggressivo: Il capo della ricerca di OpenAI: esprime curiosità/apertura su un’idea misteriosa, avverte con “potrebbe”. Il capo della ricerca AI di Meta: la certezza del “no”. Questo probabilmente spiega molto degli ultimi 5 anni. Cari ricercatori di Meta AI: Il mio indirizzo email è sama@openai.com. Stiamo assumendo!
OpenAI’s chief scientist: expresses curiosity/openness about a mysterious idea, caveats with “may”.
Meta’s chief AI scientist: the certainty of "nope".
Probably explains a lot of the past 5 years.
Dear Meta AI researchers: My email address is sama@openai.com. We are hiring!
— Sam Altman (@sama) February 12, 2022
Altman quindi enfatizza la presunta chiusura mentale di LeCun e offre pubblicamente al suo team di fuggire da Meta e approdare in OpenAI. Uno sgarbo che viene visto con sorpresa solo da chi ignora il grande abisso (e le relative tensioni) che da anni divide questi due modi di vedere il futuro dell’AI.
Altman, Sutskever e altri sono fiduciosi che l’intelligenza artificiale generale sarà raggiunta e lavorano per far sì che questo avvenga presto, ovviamente con le dovute cautele. Altri famosi ricercatori come LeCun e Yoshua Bengio, solo per citare i due più conosciuti, ritengono senza giri di parole che l’AGI non sarà mai raggiunta (LeCun: “AGI is nonsense“).
Un aiuto a Sutskever è arrivato da Andrej Karpathy, direttore dell’AI presso Tesla, che mostrandosi d’accordo con il collega ricercatore ha pubblicato il link a un racconto breve scritto da lui un anno fa e intitolato Forward Pass. Narra la storia di un grande modello di linguaggio (tipo GPT-3) che nel corso dell’elaborazione di un’informazione acquista coscienza, pur rendendosi conto che tale fatto è funzionale al suo scopo di elaborare un dato.
agree https://t.co/AGhQ8tOcaP consciousness is a useful insight for compression
— Andrej Karpathy (@karpathy) February 10, 2022
Sutskever non ha risposto a nessuno, il che è in linea con il suo uso di Twitter, fatto per lo più di tweet laconici e molto brevi (deve essere rimasto al vecchio limite di 140 caratteri). Ha lasciato la pubblica difesa ad Altman e ha continuato a twittare altre cose come se niente fosse.
Probabilmente la risposta più sensata in tutto questo è stata quella di Murray Shanahan, ricercatore senior presso DeepMind: … nello stesso senso in cui può darsi che un grande campo di grano sia leggermente pasta
… in the same sense that it may be that a large field of wheat is slightly pasta
— Murray Shanahan (@mpshanahan) February 10, 2022
Shanahan ha poi elaborato e contestualizzato la sua risposta (che è piaciuta a molti, a giudicare dalle reazioni) in un successivo thread, dove spiega che la coscienza (come l’intelligenza) è un concetto sfaccettato poiché abbraccia la consapevolezza del mondo, la consapevolezza di sé e la capacità di provare sensazioni. Tutte cose che noi esseri umani già abbiamo in un unico insieme, ma che non è necessariamente così per altri agenti non-umani. Una rete neurale senza corpo, come ad esempio un grande modello linguistico, non soddisfa il criterio più basilare per applicare il concetto, ovvero quello di un corpo fisico che abiti un ambiente simile al nostro.
Incidentally, consciousness (like intelligence) is a multi-faceted concept; it embraces,awareness of the world, awareness of self, and the capacity to feel. These things come as a package in humans, but not necessarily in other agents (eg: animals) 5/8
— Murray Shanahan (@mpshanahan) February 11, 2022
Per non parlare, infine, del fatto che ipotizzare una seppur lieve presa di coscienza (uno degli scopi per cui è stata creata la sua azienda) da parte di un grande modello linguistico (come quelli che produce la sua azienda) ha tutta l’aria di essere un’uscita pro domo sua, che Sutskever ha esternato e poi ha lasciato lì. Sapendo che sicuramente qualcuno andrà a riprenderla quando OpenAI quest’anno rilascera GPT-4, andando ad alimentare l’hype di un concetto, quello dell’AI dall’intelligenza umana, che magari non si realizzerà mai, ma che riesce sempre a farci litigare.