Un tempo i video immessi su Facebook erano vagliati da un esercito (c’è chi parla di 15.000 persone in tutto il mondo) di moderatori, che erano sottoposti a filmati contenenti ogni genere di nefandezze, dalle decapitazioni dei prigionieri in mano ai terroristi alla tortura di animali, e peggio ancora.
Lo stress e le condizioni di lavoro erano pesantissimi da sopportare, e almeno in un caso registrato un moderatore è morto di infarto mentre lavorava.
Oggi però i dipendenti umani non sono più la prima linea di difesa contro i contenuti violenti. Gran parte dei video viene prima passata al setaccio dalla computer vision di Facebook, che ha imparato a riconoscere i contenuti inadatti grazie a un training set composto in parte da video precedentemente annotati e in parte da video segnalati dagli utenti del sito, ai quali presto si aggiungeranno video forniti dalla polizia di Londra.
La rete neurale di Facebook è addestrata inoltre per riconoscere ed evidenziare singoli oggetti e persone nei video, cercando di comprendere se le immagini e i comportamenti del filmato rappresentino o meno scene problematiche (un coltello posto sul tavolo non è la stessa cosa di un coltello che si avvicina a una persona).
A volte i video vengono censurati direttamente dall’algoritmo – nel suo ultimo Community Standards Enforcement Report Facebook afferma di riconoscere automaticamente video terroristici dell’ISIS in con un’accuratezza del 99% – mentre altre volte vengono mandati ai moderatori umani per una ulteriore verifica.
Infine quando un video viene censurato il sistema registra un hash del filmato (una sequenza di caratteri che corrisponde a un’impronta del file) con il quale saranno confrontati tutti i video immessi da lì in avanti, per evitare che lo stesso video sia nuovamente inserito da altri utenti.
L’algoritmo ancora non è molto preciso con filmati rappresentanti episodi di bullismo, identificati automaticamente solo nel 16% dei casi, forse perché gli attuali sistemi NLP non riescono a comprendere bene le molte sfaccettature del linguaggio umano (emozioni, sarcasmo, ecc).
Per approfondire: This is how Facebook’s AI looks for bad stuff
