Come funziona l’AI di Facebook che respinge i contenuti violenti

Un esempio della computer vision di Facebook
Un esempio della computer vision di Facebook

Un tempo i video immessi su Facebook erano vagliati da un esercito (c’è chi parla di 15.000 persone in tutto il mondo) di moderatori, che erano sottoposti a filmati contenenti ogni genere di nefandezze, dalle decapitazioni dei prigionieri in mano ai terroristi alla tortura di animali, e peggio ancora.

Lo stress e le condizioni di lavoro erano pesantissimi da sopportare, e almeno in un caso registrato un moderatore è morto di infarto mentre lavorava.

Oggi però i dipendenti umani non sono più la prima linea di difesa contro i contenuti violenti. Gran parte dei video viene prima passata al setaccio dalla computer vision di Facebook, che ha imparato a riconoscere i contenuti inadatti grazie a un training set composto in parte da video precedentemente annotati e in parte da video segnalati dagli utenti del sito, ai quali presto si aggiungeranno video forniti dalla polizia di Londra.

La rete neurale di Facebook è addestrata inoltre per riconoscere ed evidenziare singoli oggetti e persone nei video, cercando di comprendere se le immagini e i comportamenti del filmato rappresentino o meno scene problematiche (un coltello posto sul tavolo non è la stessa cosa di un coltello che si avvicina a una persona).

A volte i video vengono censurati direttamente dall’algoritmo – nel suo ultimo Community Standards Enforcement Report Facebook afferma di riconoscere automaticamente video terroristici dell’ISIS in con un’accuratezza del 99% – mentre altre volte vengono mandati ai moderatori umani per una ulteriore verifica.

Infine quando un video viene censurato il sistema registra un hash del filmato (una sequenza di caratteri che corrisponde a un’impronta del file) con il quale saranno confrontati tutti i video immessi da lì in avanti, per evitare che lo stesso video sia nuovamente inserito da altri utenti.

L’algoritmo ancora non è molto preciso con filmati rappresentanti episodi di bullismo, identificati automaticamente solo nel 16% dei casi, forse perché gli attuali sistemi NLP non riescono a comprendere bene le molte sfaccettature del linguaggio umano (emozioni, sarcasmo, ecc).

Per approfondire: This is how Facebook’s AI looks for bad stuff

Mi sono appassionato all'intelligenza artificiale da quando ho potuto vedere all'opera i primi sistemi esperti negli anni '80. Già dal 1989 mi occupavo di cybersecurity (analizzando i primi virus informatici) ma non ho mai smesso di seguire gli sviluppi dell'AI. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.