Enrico Santus è una figura di spicco nel campo della linguistica computazionale, dell’intelligenza artificiale e del machine learning, che ha intrapreso il suo percorso accademico a Pisa, ha approfondito la sua formazione grazie a una prestigiosa borsa di studio a Hong Kong e si è addentrato nel mondo del deep learning durante gli anni di ricerca a Singapore e a Boston presso il noto Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT.
I suoi contributi spaziano in vari settori, tra cui quello dei media, della sanità e della farmaceutica, con soluzioni basate sull’AI che gli hanno fatto guadagnare l’onore di parlare alla Casa Bianca e di redigere una informativa sull’intelligenza artificiale per il Congresso americano. La carriera lo ha portato in Bayer, nel New Jersey, dove è salito rapidamente alla posizione di Direttore dell’AI e Machine Learning nel dipartimento di Farmacovigilanza. Oggi dirige la funzione Human Computation presso l’ufficio CTO di Bloomberg a New York, occupandosi del futuro dell’apprendimento attivo e dell’annotazione human-in-the-loop. Oltre ai suoi impegni professionali, Santus è consulente scientifico del Women’s Brain Project (WBP), di MindPhi e di K-Juicer. Con Enrico ci sentiamo spesso, ma in questi giorni ho avuto modo di discutere approfonditamente con lui delle ultime novità del mondo AI.
D: Perché l’intelligenza artificiale? Che cosa ti attira di questo settore?
Sai, ho cominciato a lavorare all’intelligenza artificiale più di dieci anni fa, quando lavoravo a progetti di Microsoft. In quel periodo era una cosa per addetti ai lavori e libri di fantascienza. La maggior parte dei software ancora si basava su euristiche: gli esseri umani erano responsabili per l’identificazione dei pattern nei dati e la loro codifica in regole.
In quel periodo guidavo squadre di decine di sviluppatori che osservavano enormi corpora testuali e astraevano funzioni. Ma il machine learning iniziava a farsi sentire. Tutti ci chiedevamo se fossimo a un punto di svolta, quasi come se ci fosse qualcosa nell’aria. Era il 2013, l’anno di Mikolov e dei word embeddings, generati attraverso una semplicissima rete neurale. Oggi quando parliamo di sistemi come ChatGPT sembra quasi assurdo, ma tutto cominciò coi word2vec (cioè, word to vectors), ovvero delle rappresentazioni matematiche dense della semantica distribuzionale di un termine.
D: Cosa è la semantica distribuzionale?
È il principio, codificato da Harris nel lontano 1954, secondo cui il significato di una parola si può inferire dai contesti in cui ricorre. Cane e gatto ricorrono in contesti simili, e pertanto hanno simili significati (ad esempio, mangiano, corrono, dormono, etc.). Cane e automobile ricorrono in contesti simili solo per quanto concerne il movimento (ad esempio, correre), ma l’automobile non mangia, per cui è certamente meno simile a un cane di quanto non sia il gatto. Questo semplice principio scalato su miliardi di contesti è ciò che fa i modelli linguistici come ChatGPT così potenti.
D: Ti ricordi quand’è che hai incontrato – consapevolmente – il machine learning per la prima volta?
Si. Nel 2014 pubblicai il primo paper per identificare iperonimi, ovvero quelle parole che sono categorie di un’altra, come animale per cane e per gatto. In questo paper usavo una metrica basata sull’entropia. Ma è nel 2015 che iniziai a lavorare al primo paper con un sistema di machine learning. Il titolo dell’articolo era un po’ scherzoso: Nine Features in a Random Forest to Learn Taxonomical Semantic Relations, ovvero nove descrittori (identificati a mano!) in una foresta casuale (il nome di un algoritmo in machine learning) per scoprire relazioni tassonomiche (ovvero gerarchie di parole).
Scoprii che tutto era più semplice di quanto immaginassi. Fu quello l’inizio di un lungo processo di apprendimento.
D: Nella ricerca AI secondo te qual è l’innovazione, la scoperta, la ricerca di base più importante degli ultimi anni?
Tolti i word embeddings, che ormai non sono più parte degli ultimi anni, sicuramente i transformers. Si tratta di un’architettura neurale basata sul meccanismo dell’attenzione, che – lasciami dire – è tra tutti quelli più vicino al nostro modo di ragionare. Le architetture neurali prima dei transformers avevano enormi problemi di memoria e non riuscivano a scalare su lunghe sequenze. I transformer permettono (data sufficiente memoria) di scalare molto bene. Il famoso ChatGPT non potrebbe esistere senza i transformers.
D: Ci sono ambiti dove preferiresti che le tecnologie AI non arrivassero? Ambiti da cui l’AI dovrebbe restar fuori?
No. L’AI arriverà ovunque: è come un treno in corsa e non sarà possibile fermarlo. Chiunque tenti sarà travolto. Però di certo serve un nuovo sistema di educazione basato sul dubbio. Se l’AI diventa il nostro oracolo di verità, allora la nostra educazione deve essere fondata sulla capacità critica… come diceva Dante: “a piè del vero il dubbio”.
D: Qual è il maggior rischio rappresentato oggi dalla tecnologia AI e dall’uso (o dall’abuso) che se ne potrebbe fare?
L’AI per la sorveglianza, la prevenzione del crimine, e le guerre secondo me rappresentano il rischio maggiore, perché si rischia di replicare il modello di Minority Report, dove si condannano le intenzioni anziché i fatti, e si sa dove questo possa portare – ad esempio alla condanna di oppositori politici…
Poi, ovviamente, ci sono numerosi potenziali usi non etici, come la stima del premio assicurativo in base al rischio, la Sanità selettiva, il sistema di recruiting che alimenta pregiudizi, e così via… ma questi bias esistono anche negli esseri umani. L’AI semplicemente li fa scalare.
D: Secondo te fra trenta o cinquant’anni come sarà descritta l’epoca che stiamo vivendo oggi?
Bella domanda. Secondo me saremo del tutto anonimi. L’AI ce l’avrà fatta sicuramente e sarà ovunque. Il nostro dibattito odierno su di essa avrà poco eco. Secondo me sarà la generazione dopo la nostra ad avere un ruolo, ad essere dentro lo spartiacque della storia… sarà quella generazione a definire esattamente come l’interazione uomo-macchina dovrà prendere forma, così come a definire il successo dei treni e delle macchine sono stati coloro che hanno costruito ferrovie e strade.
D: Cosa dovrebbe sapere la “persona della strada” sull’AI?
I principi. È sempre questione di principi. Conoscere la matematica non ha senso. Gli stessi sviluppatori si stanno allontanando sempre di più dai dettagli implementativi. Di certo l’uomo della strada non dovrebbe avere paura, ma – dati i principi – dovrebbe poter avere un senso dei potenziali sviluppi e di come essi potranno interferire – nel bene e nel male – nella propria vita, e pertanto come adattarsi di conseguenza.
D: E cosa dovrebbe fare la politica, la classe dirigente, riguardo alla governance dell’intelligenza artificiale?
Credo che ci sia molto da fare in questo settore, ma per lo più manchino le competenze e la visione di lungo termine, specialmente in Italia. Ad ogni sviluppo tecnologico riparte un dibattito quasi sempre poco scientifico. Dal mio canto, ho lavorato col Belfer Centre di Harvard per produrre dei volumi atti a condividere qualche conoscenza sul settore dell’Intelligenza Artificiale coi regolamentatori americani.
D: Vi sono lavori anche spiccatamente moderni, come quello dello sviluppatore software, che rischiano di essere fortemente automatizzati. Quali criteri dovrebbero usare oggi i giovani per scegliersi una carriera che dia loro una sicurezza lavorativa nel futuro?
C’è qualcosa che le macchine non potranno mai raggiungere, ovvero l’Intelligenza con la I maiuscola. Furbizia, adattamento, creatività, pensiero fuori dagli schemi, capacità critica, iniziativa, motivazione, energia, flessibilità. Uno sviluppatore del futuro non sa solamente scrivere codice, ma sa ciò che vuole, sa modificare il codice altrui, sa usare la macchina e dubitare del suo prodotto. Stessa cosa per ogni altra mansione. Le soft skills torneranno presto a superare le hard skills in un certo senso.
D: Pensi che il tuo lavoro, quello che svolgi tutti i giorni e per cui vieni pagato, un giorno potrà essere in gran parte automatizzato? E se sì, qual è il tuo “piano B”?
No. Sono molto fortunato. Il mio lavoro richiede un mix equilibrato di conoscenze tecniche e soft skills che nessuna macchina potrà mai raggiungere. Quando studiai letteratura e linguistica a Pisa, quasi mi prendevano in giro. Invece oggi è una delle mie forze più grandi.
D: Parliamo di AI di livello umano. Secondo te arriveremo nella nostra generazione all’Artificial General Intelligence?
Arriveremo a qualcosa del genere, senza dubbio. Ma non arriveremo alla I maiuscola nel breve termine. Il problema principale è che quando l’Intelligenza Artificiale diventerà preponderante, gli esseri umani potrebbero impigrirsi, e accontentarsi anche loro della I minuscola.
