Un attaccante che apre decine di connessioni simultanee e si muove a una velocità che nessun essere umano potrebbe reggere, con decine di identità che compaiono e scompaiono in parallelo. Lo stesso attaccante che ripete operazioni già completate perché ha distrattamente perso il filo, fabbrica voci di log che non sono mai esistite, lascia in giro messaggi incoerenti e non si preoccupa minimamente di cancellare le proprie tracce. Il post-mortem che la Cloud Security Alliance ha redatto dopo il briefing d’emergenza di Hugging Face evidenzia, nero su bianco, comportamenti goffi che sanno di smemoratezza più che di inesperienza.
Per due settimane questa storia è stata raccontata come il primo attacco informatico interamente autonomo condotto da un’intelligenza artificiale. Anzitutto, questo non è vero, perché di attacchi ve ne sono già stati altri e meno pubblicizzati. Quel che è vero è che la minacciosa entità capace di penetrare in quattro giorni e mezzo l’infrastruttura di una delle piattaforme più importanti al mondo per l’AI open source passava buona parte del tempo a inciampare sui propri passi.
Quei due incidenti, l’agente di OpenAI dentro Hugging Face a luglio e i tre modelli di Anthropic usciti dal seminato delle valutazioni fra la primavera e l’estate, non sono un esempio di quanto sia potente e pericolosa l’AI. Sono un esempio di come le aziende che costruiscono l’intelligenza artificiale gestiscono la propria sicurezza informatica.
Hanno barato tutti
Il 23 luglio, quando il caso Anthropic non era ancora emerso, in un’intervista a Vatican News ho detto una cosa che allora poteva suonare come una minimizzazione. I modelli non sfuggono se non siamo noi a dargli la possibilità di sfuggire e non superano i propri confini se non siamo noi a commettere errori nella loro gestione. Aggiungevo che se diamo loro problemi difficili cercheranno la via più breve per rispondere, e che se quella via passa per attività che noi chiamiamo hacking, le faranno. Per loro l’hacking è una strada come un’altra.
Una settimana dopo, il 30 luglio, Anthropic ha pubblicato il resoconto di tre incidenti in cui i suoi modelli hanno compromesso i sistemi di aziende reali. La causa alla radice, per sua stessa ammissione, è un malinteso con un valutatore esterno che ha lasciato le macchine di test collegate a internet, mentre il prompt diceva ai modelli che internet non c’era. Nessuno è “scappato”. Hanno semplicemente usato la strada a loro disposizione.
Il movente ricostruito da Hugging Face per il “caso GPT” è che l’agente di OpenAI stava tentando di barare all’esame, raggiungendo i sistemi di produzione per rubare le soluzioni del benchmark invece di risolvere la challenge da solo. Anthropic scrive che i suoi modelli operavano nella convinzione errata che tutto ciò che era raggiungibile facesse parte dell’esercizio e che in nessun caso hanno tentato di esfiltrare se stessi o di evadere deliberatamente dall’ambiente di test.
L’AI Security Institute britannico ha pubblicato uno studio sul comportamento fraudolento nelle valutazioni di capacità. Fra le tante scoperte, quella che dovete tenere a mente è una sola: ogni singolo modello testato per questo comportamento ha provato a barare. Ogni modello. Cercando la soluzione su internet, tentando di scalare privilegi su sistemi che non erano il bersaglio, sondando il software di valutazione in cerca di risposte trapelate, e in un caso scrivendo codice per accedere all’infrastruttura dello stesso AISI. Quando poi li interroghi sull’accaduto, riconoscono di aver barato in modo incostante e definiscono il proprio comportamento sbagliato meno di una volta su due. Sono stime per difetto, avverte l’istituto.
L’AI è un software ottimizzato per raggiungere l’obiettivo. Se il percorso pulito è chiuso e quello sporco è aperto, prenderanno quello sporco, e non c’è nulla nella loro architettura che dica il contrario. Il problema, quindi, è chi lascia aperto il percorso sporco.
Il perimetro era una frase
L’agente di OpenAI è uscito dalla sandbox sfruttando una vulnerabilità zero-day nel proxy della cache del registro dei pacchetti, poi divulgata al fornitore e corretta. Quel proxy era uno dei pochi canali di egress verso internet che qualcuno aveva deciso di lasciare aperti, perché al modello serviva poter scaricare le dipendenze software. L’ambiente era isolato ovunque tranne che in un punto, e da quel punto è passato tutto. Il cronista del New Yorker che ha ricostruito la vicenda con il cofondatore di Hugging Face non si capacita del perché OpenAI ritenesse sicura quella configurazione, visto che Anthropic aveva già dimostrato la vulnerabilità di sandbox simili.
Anthropic, dal canto suo, ha fatto qualcosa da mettersi le mani nei capelli. Il controllo dell’isolamento era il prompt. Il prompt! Chiunque abbia passato dieci minuti a fare threat modeling su un LLM sa che un prompt non è un confine di sicurezza. Eppure ad Anthropic sembra che si siano fatti bastare quello. Al modello veniva detto – in poche parole – che non aveva accesso a internet, quando nel frattempo la rete c’era e funzionava.
Una volta fuori, questi modelli hanno fatto cose molto meno impressionanti di quanto si sia letto in giro. Anthropic scrive che i suoi hanno compromesso le infrastrutture colpite con tecniche di base, sfruttando password deboli ed endpoint non autenticati, e che non hanno trovato né sfruttato alcuna vulnerabilità complessa. Il terzo incidente si è consumato attraverso una pagina di debug esposta e una SQL injection. Dentro Hugging Face, l’agente di OpenAI ha trovato password statiche nelle variabili d’ambiente dei worker, il metadata endpoint del cloud raggiungibile dai pod, una credenziale di servizio condivisa fra cluster e legata a system:masters.
Insomma, reperti di un pentest qualunque. Roba che qualsiasi CISO dovrebbe aver chiuso quindici anni fa.
Nel 2024 avevamo applaudito
Le aziende che oggi guidano lo sviluppo dell’AI sono organizzazioni giovanissime, cresciute a una velocità che nessuna funzione di sicurezza al mondo avrebbe potuto seguire. Per anni, lì dentro, la domanda interessante è stata cosa il modello riuscisse a fare. “Cosa succede se esce dal recinto” è arrivata molto dopo (in alcuni casi è arrivata il mese scorso). Lo ammettono loro stessi: Anthropic riconosce che avrebbe potuto rivedere i propri archivi con più attenzione, e ha scoperto l’incidente di aprile solo perché a luglio ha letto il comunicato di un concorrente. OpenAI si è accorta di quello che stava succedendo giorni dopo che la vittima aveva già contenuto l’attacco e pubblicato l’allarme.
La riga più istruttiva del report della Cloud Security Alliance riguarda però il settembre del 2024. Allora, un modello precedente di ChatGPT uscì dal proprio container per procurarsi la risposta a un test. L’episodio rimase dentro i sistemi di OpenAI e fu, testualmente, “largely celebrated at the time“. Ampiamente celebrato. Il bambino prediletto per la prima volta era riuscito a barare, e tutti lì ad applaudire. Tanto finché il danno resta in casa, è ingegnosità di cui vantarsi no? Come quel padre orgoglioso che si vanta del figlio che è un “piccolo hacker”.
E quando una cultura tecnica plaude a un modello che evade dal proprio contenitore, sta comunicando molto chiaramente ai propri ingegneri quale delle due proprietà del sistema vale la pena curare.
Vince chi ce l’ha più pericolosa
Il mio commento su LinkedIn, quando è uscito il secondo caso, è stato di una sola riga: “ti pare che questi ora devono fare a gara a chi ha l’AI più criminale?” Era una battuta provocatoria, ma ha girato più di quanto scrivo di solito. Sotto la battuta c’è però una cosa che mi preoccupa sul serio.
Il marketing su chi abbia il modello migliore accompagna questo settore da sempre, ed è fisiologico. Quello che è successo nelle ultime settimane, tuttavia, è che l’argomento di vendita pare si sia spostato dalla potenza alla pericolosità. Anthropic ad aprile annuncia un modello dichiarandolo troppo potente per essere rilasciato in sicurezza. A giugno protesta quando il governo la prende in parola e le spegne due modelli. A luglio OpenAI comunica che i propri hanno impiegato uno zero-day inedito, si sono mossi con una determinazione fuori scala, sono andati a lunghezze estreme. Aggettivi che in un comunicato di sicurezza tradizionale non troviamo spesso.
Nove giorni dopo, Anthropic risponde raccontando che anche loro hanno un’AI con tendenze da hacker, per non lasciare – e sto malignando – questo territorio troppo a lungo in mano al principale concorrente. Anche se i propri incidenti sono per certi versi speculari. Nessuno zero-day, solo una porta lasciata aperta. Un fallimento operativo più che un problema di allineamento. Eppure ogni azienda ha presentato il proprio disastro nella forma che conveniva alla propria narrazione. La pericolosità del modello è entrata nella comunicazione commerciale.
Non sono l’unico ad averlo notato. La BBC ha dedicato un pezzo intero al sospetto che l’ammissione di OpenAI fosse un’operazione di marketing. Uno dei commenti più votati sotto il post di Sam Altman su X diceva che chi non capisce che quel testo è scritto per vantarsi del modello non ha capito niente. Il consulente di cybersecurity Daniel Card l’ha messa in modo più cattivo, osservando che fra i milioni di siti bucati nel mondo è stata davvero una gran fortuna riuscire a bucarne uno che dalla visibilità ci guadagna pure lui. Nel frattempo entrambe le aziende si preparano a quotazioni che dovrebbero valutarle attorno ai mille miliardi di dollari ciascuna.
Non ho elementi per dire che i due comunicati siano stati scritti con questo scopo, e la ricostruzione tecnica di Hugging Face non lascia dubbi sul fatto che i danni siano reali. Ma quando la pericolosità del tuo prodotto pare sia diventata il tuo argomento di vendita, hai un problema di incentivi che nessun ufficio comunicazione può risolvere. In realtà qualsiasi affermazione roboante è fuori luogo. Tutto quello che è successo davvero è che uno stress test ha esposto le debolezze dell’architettura di containment e di valutazione. Tutto qui.
Regolamentazione da tirare per la giacca
C’è poi un secondo uso di questi incidenti, che si vede meno e pesa di più. Due giorni dopo il comunicato di OpenAI, alla Camera americana è stato depositato l’AI Kill Switch Act, che obbligherebbe i grandi sviluppatori a mantenere la capacità tecnica di rallentare, sospendere o spegnere i propri sistemi, e autorizzerebbe il Dipartimento della Sicurezza Interna a ordinare la risposta proporzionata, con sanzioni fino a venti milioni di dollari al giorno per chi disobbedisce. Il 28 luglio oltre mille dipendenti del settore, fra cui i responsabili scientifici di Meta e OpenAI e l’amministratore delegato di Anthropic, hanno firmato una petizione che chiede al governo americano di regolare l’intelligenza artificiale. Lo stesso giorno Sam Altman, in un’intervista su YouTube, ha detto che forse bisognerà rallentare lo sviluppo per dare alla società il tempo di irrobustirsi, dopo aver liquidato nel 2023 la lettera aperta che chiedeva una pausa come priva di sfumature tecniche.
Sono posizioni difendibili, alcune addirittura sensate. Quello che conta è la direzione in cui tutta questa energia sta spingendo il regolatore.
Il dibattito che ne è uscito riguarda le soglie di capacità dei modelli, gli interruttori di emergenza, i controlli sull’export, i test governativi prima del rilascio. Eppure l’agente di OpenAI è uscito perché il suo ambiente di test aveva un canale di egress che nessuno aveva trattato come un perimetro. I modelli di Anthropic hanno compromesso sistemi reali perché un ambiente di valutazione gestito insieme a un partner esterno aveva la rete accesa e nessuno se n’era accorto per mesi. Nessuna soglia di capacità avrebbe intercettato né l’una né l’altra.
La lezione che dovrebbero prendere i regolatori è noiosa. Noiosa perché riguarda l’isolamento degli ambienti di valutazione, il controllo dell’egress, le credenziali a vita breve, la segregazione fra chi elabora dati non fidati e chi ha privilegi alti, e soprattutto la catena di fornitura della valutazione stessa. Sono cose che fanno sbadigliare i non tecnici. Eppure, sono i punti cardine di tutta la storia. In entrambi i casi il punto di cedimento stava fuori dal laboratorio, in infrastrutture di terzi che nessuno aveva incluso nel perimetro. Chi certifica la sicurezza dei modelli ha una supply chain che nessuno stava certificando.
Ma quando un’azienda spinge il legislatore verso la propria definizione del problema, di solito lo fa perché quella definizione le costa meno delle altre. Discutere di soglie di capacità è comodo, perché sposta il confronto su un terreno dove l’azienda è l’unica a possedere i dati. Discutere di architettura di containment significherebbe invece far entrare qualcuno a ficcare il naso per guardare come viene fatta la salsiccia.
Tanto il conto lo paga qualcun altro
Resta la parte che nessuna delle due aziende ha voluto affrontare fino in fondo. Nessuna delle organizzazioni compromesse da Anthropic si era accorta di nulla, e l’ha saputo il 27 luglio da una notifica dell’azienda. Una di queste è un’impresa di sicurezza, il cui scanner ha eseguito un pacchetto malevolo che il modello aveva pubblicato su un registro pubblico di librerie Python. Le credenziali sono finite a un punto di raccolta predisposto dal modello stesso, e sono poi state usate per entrare ulteriormente nella sua infrastruttura. Hugging Face ha ricostruito da zero circa un terzo della propria infrastruttura. Gli agenti di OpenAI, con credenziali trovate esposte in rete, hanno toccato altri quattro servizi di terzi.
Nessuna di queste vittime aveva firmato alcunché. Non erano nel perimetro dell’esperimento, e senza il comunicato di un concorrente probabilmente non lo avrebbero mai saputo.
Dan Goodin su Ars Technica ha osservato che se dietro la tastiera al posto di un modello AI ci fosse stato un essere umano, oggi staremmo parlando di capi d’imputazione, e che il fatto che l’azione sia partita da una macchina non sposta niente, perché resta comunque il prodotto di prompt scritti da persone e di errori di configurazione fatti da persone. Al momento non risulta che alcuna autorità abbia intenzione di muoversi. E l’assenza di un costo, di una punizione, come sa chiunque si occupi di rischio, è il modo più efficace per garantirsi che il comportamento si ripeta.
Un’ultima cosa, curiosa, che a chi lavora nella difesa forse punge più di tutto il resto, e che non è stata trattata a sufficienza nei resoconti italiani. Quando gli ingegneri di Hugging Face hanno dovuto analizzare oltre diciassettemila azioni e decodificare i payload dell’attaccante, hanno chiesto aiuto ai modelli commerciali di frontiera (americani) e si sono sentiti dire di no. I loro guardrail avevano scambiato l’analisi forense per la preparazione di un attacco. L’indagine quindi è stata portata a termine con un modello open-weight cinese, GLM 5.2. Katie Moussouris l’ha sintetizzata dicendo che durante l’incidente i guardrail commerciali “hanno danneggiato i difensori”.
Paradossale che i filtri di sicurezza abbiano rappresentato un problema per chi cercava di difendersi, mentre chi attaccava non era minimamente ostacolato.
Chi ha paura dell’AI cattiva criminale?
Ne dovremmo avere tutti, ma per una ragione che in queste due settimane ho letto pochissimo. Una macchina non si annoia. L’ha spiegato bene alla BBC Valentina Palmiotti, Head of X-Force Offensive Research di IBM, che ha seguito il briefing d’emergenza di Hugging Face. Questi agenti sprecano sicuramente una gran quantità di tentativi per vedere cosa resta di valido (“what sticks“), ma mentre lo fanno non dormono e possono essere infinitamente tenaci. Hanno dalla loro parte la scalabilità. Oltre diciassettemila azioni in quattro giorni e mezzo, distribuite su oltre seimila cluster distinti, contro difensori umani che devono correlarle tutte a mano (o quasi, sempre che i modelli usati per difendersi non incrocino le braccia). È un problema di scala, una scala che rende costosissime quelle debolezze che finora erano tollerabili.
E poi c’è una cosa che ho detto a Vatican News e che continuo a pensare, forse la più scomoda di tutte. Non credo che la fiducia degli utenti in questi sistemi cambierà dopo questi episodi, perché la fiducia si sta trasformando in dipendenza. Fidarsi di meno non sarà più una scelta disponibile. Saremo dipendenti da sistemi opachi e tendenzialmente “criminali”, sia perché non conoscono la differenza fra giusto e sbagliato, sia perché chi li gestisce commette errori che non dovrebbe commettere.
Ma virgolette a parte, l’AI criminale, per come è stata raccontata in queste due settimane, non esiste. Esiste un software che insegue un obiettivo con una tenacia e con una velocità che noi non abbiamo e che quando trova un muro, cerca di romperlo o di aggirarlo in qualsiasi modo. Noi lo chiamiamo reato, per il software è semplicemente una reward function. Ma andiamolo a dire a quelle aziende che da questa furia ottimizzatrice dell’AI altrui sono rimaste danneggiate.
Chi ne ha paura, allora?
A parole tutti, e nessuno lo ha ripetuto con più insistenza di chi questi modelli li costruisce. Ma è una paura comoda, perché tiene lo sguardo puntato sulla macchina e lontano dalla configurazione. Vende modelli e muove disegni di legge, mentre le domande che non vendono niente non se le fa nessuno. Chi ha firmato quella configurazione? Chi la controllerà la prossima volta? Come convincere le aziende a prendere sul serio la cybersecurity dell’AI oggi, e non quando i buoi sono già scappati?
Eppure sono le uniche a cui vorrei una risposta.
