Facebook si è dotato di un read team per aggirare i suoi stessi sistemi AI

Già in passato ho apprezzato l’adozione nel settore dell’intelligenza artificiale di alcuni sistemi e metodi mutuati dal mondo della cybersecurity. Uno di questi consiste nel creare al proprio interno una squadra avversaria – che operi con logiche e modi tipici di un nemico – per cercare di “rompere” i prodotti o i servizi messi su dall’azienda. Ovviamente in un ambiente controllato.

Questo metodo si chiama genericamente “red team“, dal colore usato dalla squadra di attaccanti nelle varie simulazioni militari (per contro, la squadra dei difensori di solito è il “blue team”). Wired questa settimana ha un’interessante storia sul “red team” di Facebook per l’intelligenza artificiale, dove una squadra di esperti di adversarial AI cerca in tutti i modi di vincere sugli algoritmi di moderazione della piattaforma social (il team si concentra molto sui filtri anti-pornografia di Instagram che a quanto pare molti utenti fanno di tutto per aggirare).

Il lavoro del red team di Facebook, in particolare le loro vittorie, fornisce così informazioni utili al “blue team” per migliorare le difese della piattaforma.

Per approfondire: Facebook’s ‘Red Team’ Hacks Its Own AI Programs

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.