Nuovo metodo per mitigare gli attacchi adversarial alle reti neurali

Bo Li, oggi professoressa di data science presso l’Università dell’Illinois, qualche anno fa assieme ad alcuni colleghi attaccò degli adesivi su un segnale di “stop” (pdf) per dimostrare come fosse facile confondere i sistemi delle auto a guida autonoma, che scambiavano il segnale di stop per un limite di velocità (ovviamente tutte le ricerche si sono svolte in sicurezza).

In questi giorni, alla trentasettesima International Conference on Machine Learning, Bo Li ha presentato un nuovo metodo (pdf) per addestrare le reti neurali a essere più resistenti ad alcuni tipi di attacchi adversarial. Introducendo una rete aggiuntiva che genera esempi di attacco, in maniera simile a una GAN, la rete “principale” è in grado di minimizzare la perdita e quindi mitigare gli effetti di eventuali attacchi.

Per approfondire: A new way to train AI systems could keep them safer from hackers

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.