Cos’è l’apprendimento auto-supervisionato, o self supervised learning

Cervello CPU

Avrete sentito parlare dei vari tipi di machine learning: apprendimento supervisionato, non supervisionato e da rinforzo. Questi tre sono generalmente i più diffusi, e quelli che sicuramente vi sono stati segnalati durante i vari corsi introduttivi all’intelligenza artificiale.

Fra le tipologie che si stanno affermando negli ultimi tempi dobbiamo però iniziare a includere l’apprendimento auto-supervisionato (self supervised). Esso ha in comune con l’apprendimento supervisionato il fatto che i dati di addestramento sono etichettati. Tuttavia l’etichettatura avviene automaticamente, non serve quindi l’intervento di un essere umano, per questo motivo c’è chi lo ritiene una tipologia di apprendimento non supervisionato.

Ma definizioni a parte, come fa la macchina a trovare le etichette da apporre ai dati di addestramento? Non è proprio a questo che servono gli “etichettatori” umani? Nell’apprendimento auto-supervisionato il software riesce a desumere le etichette giuste grazie alle correlazioni fra i dati e alle loro strutture implicite. L’architettura Transformer, quella per intenderci alla base di tanti modelli di elaborazione del linguaggio naturale come GPT-3, è un tipo di apprendimento auto-supervisionato.

Il grande promotore di questa tecnica è il francese Yann LeCun, uno dei massimi esperti di deep learning e l’inventore delle reti convoluzionali (quelle usate soprattutto nella visione artificiale). LeCun da anni sta portando avanti l’apprendimento auto-supervisionato, ritenendo addirittura che “apprendimento non supervisionato” sia una definizione sbagliata e superata, che andrebbe quindi dimenticata.

Recentemente il ricercatore ha scritto un post sul blog di Facebook (LeCun da anni lavora per il social network) che spiega nei dettagli come funziona l’apprendimento auto-supervisionato e perché è da considerare uno dei grandi passi avanti del machine learning, che porterà i computer addirittura ad avvicinarsi (il termine che ha usato è “approssimare”) al concetto umano di senso comune.

Il senso comune, assieme alla comprensione del nesso causale, è uno dei grandi ostacoli (direi baratri) che separano le macchine dagli esseri umani. Superare queste difficoltà farebbe avvicinare i computer alla “vera intelligenza”. O perlomeno renderebbe la sua emulazione molto più convincente.

Per approfondire: Self-supervised learning: The dark matter of intelligence

Sono partner e fondatore di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti l'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI), della Association for Computing Machinery (ACM) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.