Come funziona l’AI di Facebook che respinge i contenuti violenti

Un esempio della computer vision di Facebook
Un esempio della computer vision di Facebook

Un tempo i video immessi su Facebook erano vagliati da un esercito (c’è chi parla di 15.000 persone in tutto il mondo) di moderatori, che erano sottoposti a filmati contenenti ogni genere di nefandezze, dalle decapitazioni dei prigionieri in mano ai terroristi alla tortura di animali, e peggio ancora.

Lo stress e le condizioni di lavoro erano pesantissimi da sopportare, e almeno in un caso registrato un moderatore è morto di infarto mentre lavorava.

Oggi però i dipendenti umani non sono più la prima linea di difesa contro i contenuti violenti. Gran parte dei video viene prima passata al setaccio dalla computer vision di Facebook, che ha imparato a riconoscere i contenuti inadatti grazie a un training set composto in parte da video precedentemente annotati e in parte da video segnalati dagli utenti del sito, ai quali presto si aggiungeranno video forniti dalla polizia di Londra.

La rete neurale di Facebook è addestrata inoltre per riconoscere ed evidenziare singoli oggetti e persone nei video, cercando di comprendere se le immagini e i comportamenti del filmato rappresentino o meno scene problematiche (un coltello posto sul tavolo non è la stessa cosa di un coltello che si avvicina a una persona).

A volte i video vengono censurati direttamente dall’algoritmo – nel suo ultimo Community Standards Enforcement Report Facebook afferma di riconoscere automaticamente video terroristici dell’ISIS in con un’accuratezza del 99% – mentre altre volte vengono mandati ai moderatori umani per una ulteriore verifica.

Infine quando un video viene censurato il sistema registra un hash del filmato (una sequenza di caratteri che corrisponde a un’impronta del file) con il quale saranno confrontati tutti i video immessi da lì in avanti, per evitare che lo stesso video sia nuovamente inserito da altri utenti.

L’algoritmo ancora non è molto preciso con filmati rappresentanti episodi di bullismo, identificati automaticamente solo nel 16% dei casi, forse perché gli attuali sistemi NLP non riescono a comprendere bene le molte sfaccettature del linguaggio umano (emozioni, sarcasmo, ecc).

Per approfondire: This is how Facebook’s AI looks for bad stuff

Sono Head of Artificial Intelligence di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti all'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Ho trascorso la maggior parte della carriera – trent'anni - nel settore della cybersecurity, dove fra le altre cose sono stato consigliere del Ministro delle Comunicazioni e consulente di Telespazio (gruppo Leonardo). Oggi mi occupo prevalentemente di intelligenza artificiale, con consulenze sull'AI presso aziende private e per la Commissione Europea, dove collaboro con la European Defence Agency e il Joint Research Centre. Questo blog è personale.