Scoperti dei modelli AI con backdoor su Hugging Face

Sicurezza, cybersecurity

Recenti analisi condotte dall’azienda di cybersecurity JFrog (qui il report) hanno messo in luce una problematica potenzialmente critica su alcuni modelli scaricabili dalla piattaforma Hugging Face, un punto di riferimento per la collaborazione nel campo del machine learning: la presenza di modelli AI potenzialmente malevoli, capaci di introdurre backdoor silenziose nei sistemi degli utenti, sollevando questioni urgenti sulla sicurezza dei sistemi di intelligenza artificiale.

Tra i modelli incriminati, uno in particolare ha destato preoccupazione: utilizzando il formato di serializzazione “pickle“, noto per le sue vulnerabilità, il modello consentiva di aprire una backdoor che avrebbe potuto consegnare il controllo remoto del dispositivo a terzi, inaugurando scenari preoccupanti di violazioni dati e spionaggio industriale.

Pickle è un formato comune per la serializzazione di oggetti Python, che in questo contesto vengono manipolati per includere codice malevolo. Al momento del caricamento di tali modelli ML il codice nocivo viene eseguito, instaurando una reverse shell che garantisce all’attaccante il pieno controllo sulla macchina compromessa. Questo processo si realizza senza che l’utente si renda conto dell’infiltrazione, rappresentando una minaccia invisibile ma estremamente pericolosa. L’attacco perpetrato attraverso un modello distribuito da  Hugging Face, caricato da un utente sotto lo pseudonimo di “baller432”, dimostra una sofisticata comprensione delle debolezze insite nei meccanismi di serializzazione di Python. Questo tipo di attacco, per la sua discrezione, pone sfide significative nella rilevazione e nella prevenzione, evidenziando l’importanza di una sicurezza informatica robusta e proattiva anche e soprattutto quando si inseriscono modelli AI nei propri sistemi.

La presenza di backdoor nel codice scaricato da repository pubblici non è una novità, ma questo episodio evidenzia come anche l’ambiente dell’AI non sia immune da tentativi di infiltrazione malevola. In risposta a questa minaccia, Hugging Face ha prontamente rimosso i modelli segnalati e ha rafforzato le misure di sicurezza, incoraggiando l’adozione di formati di serializzazione più sicuri come i safetensors. Sebbene queste precauzioni rappresentino passi avanti significativi nella protezione degli utenti, l’episodio in questione sottolinea la necessità di una vigilanza continua e di sistemi di sicurezza sempre più sofisticati che siano in grado di analizzare anche i modelli AI.

Mi occupo da molti anni di intelligenza artificiale. Dopo la laurea in Management ho conseguito una specializzazione in Business Analytics a Wharton, una certificazione Artificial Intelligence Professional da IBM e una sul machine learning da Google Cloud. Ho trascorso la maggior parte della carriera – trent'anni - nel settore della cybersecurity, dove fra le altre cose sono stato consigliere del Ministro delle Comunicazioni e consulente di Telespazio (gruppo Leonardo). Oggi mi occupo prevalentemente di intelligenza artificiale, lavorando con un'azienda leader del settore e partecipando a iniziative della Commissione Europea. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.