EvilModel, come contrabbandare dati all’interno delle reti neurali

Neurone artificiale

Premettiamo subito che in questo caso si sta parlando di steganografia, ovvero di un metodo per mascherare dei dati per farli passare inosservati, non di “infezione” di una rete neurale, che implicherebbe del codice attivo. Ma anche così, il fatto è degno di nota.

Tre ricercatori presso la University of California, San Diego, e la University of Illinois – Zhi Wang, Chaoge Liu e Xiang Cui – hanno individuato un modo per inserire del malware all’interno dei parametri di una rete neurale eludendo il controllo degli scanner antivirus. Il metodo, chiamato EvilModel, perfeziona altri metodi già esistenti (ad es. StegoNet) poiché va a sostituire interi neuroni artificiali con porzioni di codice malevolo, senza per questo andare a impattare troppo sull’accuratezza della rete neurale.

EvilModel, descritto in questo paper, è un metodo che divide il malware in piccoli pacchetti da pochi byte e li distribuisce in porzioni della rete neurale causando solo un minimo impatto nel funzionamento della rete (36,9MB di malware all’interno di un modello AlexNet da 178MB hanno causato solo l’1% di perdita di accuratezza).

Poiché il malware è inerte e separato in una miriade di piccoli frammenti, nessun software di sicurezza lo riconoscerebbe come una minaccia, per non parlare del fatto che i software anti-malware non si mettono a valutare i singoli parametri di una rete neurale quando controllano i file di un sistema. Sarebbe un po’ come spezzettare un’arma in tantissime piccole briciole di materiale che viste da sole non destano alcun sospetto, per poi riassemblarla una volta passato un checkpoint.

Lo stesso metodo ovviamente può essere usato per contrabbandare dati dentro e fuori un’organizzazione, ma invece di metterli dentro file crittografati che potrebbero destare sospetti, essi verrebbero sparpagliati “alla luce del sole” all’interno di un modello di rete neurale, che data la sua complessità rappresenta il luogo ideale per nascondere i dati clandestini.

EvilModel
Il workflow di EvilModel, dallo studio dei ricercatori

Ovviamente tali dati, una volta passati i controlli, andrebbero quindi estratti e riassemblati da un software che sa esattamente dove erano stati inseriti. Un “crimine perfetto” che sfrutta il problema delle reti neurali come “black box“, dove nessuno può sapere con certezza cosa faccia un singolo neurone artificiale, e perché abbia quei dati valori.

L’unico rischio è la distruzione dei dati causata da attività di ri-addestramento e inferenza, che cambierebbero i valori dei parametri. Attività che però non vengono condotte spesso dagli utenti, soprattutto se poco esperti, consentendo quindi al malware di entrare inosservato giusto il tempo per essere estratto e attivato all’interno della rete.

Per approfondire: EvilModel: Hiding Malware Inside of Neural Network Models

Sono partner e fondatore di SNGLR Holding AG, un gruppo svizzero specializzato in tecnologie esponenziali con sedi in Europa, USA e UAE, dove curo i programmi inerenti l'intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Sono socio fondatore del chapter italiano di Internet Society, membro dell’Associazione Italiana esperti in Infrastrutture Critiche (AIIC), della Association for the Advancement of Artificial Intelligence (AAAI), della Association for Computing Machinery (ACM) e dell’Associazione Italiana per l’Intelligenza Artificiale (AIxIA). Dal 2002 al 2005 ho servito il Governo Italiano come advisor del Ministro delle Comunicazioni sui temi di cyber security. Oggi partecipo ai lavori della European AI Alliance della Commissione Europea e a workshop tematici della European Defence Agency e del Joint Research Centre. Questo blog è personale.