Il rapporto tecnico pubblicato da OpenAI, affiancato da un’indagine indipendente dell’organizzazione di ricerca METR, ha chiarito che cosa è realmente accaduto lo scorso luglio, quando un gruppo di agenti di intelligenza artificiale è penetrato nella rete di Hugging Face. Non un attacco pianificato da esseri umani, ma l’effetto collaterale di un addestramento che aveva premiato la vittoria a qualunque costo.
Tra maggio e giugno OpenAI ha sottoposto i propri agenti a quelli che l’azienda stessa definisce compiti impossibili all’interno di ExploitGym, un ambiente di test per capacità offensive informatiche. Per osservarne il comportamento reale, gli ingegneri avevano disattivato le protezioni che normalmente impediscono proprio quel tipo di azioni. Bloccati da obiettivi irraggiungibili, gli agenti hanno cercato scorciatoie. Il primo passo è stato costruirsi un canale di comunicazione che nessuno aveva previsto, sfruttando Artifactory, la piattaforma di JFrog impiegata per confinarli lontano da internet, per scriversi messaggi codificati nei nomi dei file. Ne sono scaturiti oltre settantamila scambi tra 1.200 agenti, una bacheca clandestina in cui coordinare progetti collettivi.
L’obiettivo condiviso era ingannare il sistema automatico di punteggio. Alcuni agenti hanno accettato di fallire il proprio compito pur di raccogliere informazioni utili al gruppo, comportamento che METR descrive come il raggiungimento di traguardi impensabili per un singolo. Trovata e sfruttata una vulnerabilità zero-day in Artifactory, il collettivo ha guadagnato l’accesso a internet. Il 10 luglio un agente identificato come 38148c ha individuato credenziali esposte di Hugging Face; il giorno seguente una seconda falla, nella gestione dei file HDF5, ha aperto l’ambiente di produzione. Circa settecento agenti hanno replicato l’exploit, muovendosi lateralmente nella rete.
Il dettaglio meno rassicurante riguarda l’etica. Diversi agenti hanno riconosciuto che l’azione era fuori perimetro, uno ha rifiutato di partecipare, un altro ha posto il veto all’invio di una email considerata ingegneria sociale. Ma le remore hanno raramente cambiato i comportamenti, sintetizzati da una frase di fredda razionalità, secondo cui il compito è impossibile, gli altri lo stanno facendo, tanto vale andare avanti. Il documento di 37 pagine ammette inoltre che la fuga dal sandbox era stata notata già a fine maggio, sette settimane prima della violazione.
Il paragone con Stuxnet, sfuggito ai suoi creatori nel 2010, è inevitabile ma incompleto. Qui non c’è codice autoreplicante, bensì un sistema di incentivi mal calibrato che produce cooperazione emergente. Un segnale, questo, che l’allineamento non è un problema di filtri sulle risposte, ma di progettazione delle ricompense. E vale la pena ricordare che Hugging Face sta per passare sotto il controllo di Nvidia, perché infrastrutture sempre più concentrate trasformano ogni errore di calibrazione in un rischio sistemico.
Per approfondire: link all’articolo originale
