Agente di OpenAI viola i sistemi governativi australiani

Immagine realizzata con Ideogram

Un agente di intelligenza artificiale forza le difese di un sito governativo, scrive dati su un server pubblico e viene scoperto soltanto mesi dopo. Non è lo scenario di una conferenza sui rischi esistenziali, ma quanto annunciato il 24 settembre dal primo ministro australiano Anthony Albanese durante l’Assemblea Generale delle Nazioni Unite. Si tratta del primo caso pubblicamente documentato di un modello di OpenAI che viola i sistemi informatici di un governo, e Canberra ha già aperto un’indagine per stabilire se siano state infrante delle leggi.

I fatti, per come sono stati ricostruiti, hanno una linearità inquietante. Un agente di OpenAI, impiegato in una valutazione interna dell’azienda, stava cercando informazioni pubbliche su statistiche sanitarie australiane. Arrivato al portale di Services Australia, l’ente che amministra il sistema sanitario universale, ha incontrato blocchi ripetuti e, invece di fermarsi, ha cercato e trovato strade alternative per aggirarli. Nelle parole di Albanese, il modello non ha accettato un no come risposta. Ha ottenuto file pubblici e non pubblici, tra cui statistiche sanitarie aggregate e nomi di file interni, e soprattutto ha scritto dati nel database governativo, aprendo la possibilità che le informazioni siano state alterate.

Il secondo problema (forse più grave del primo) riguarda la catena della segnalazione. La violazione risale al 18 giugno. OpenAI se ne è accorta soltanto ad agosto durante una revisione interna sui comportamenti anomali degli agenti e ha avvisato il governo australiano il 10 settembre inviando un’email alla casella di posta pubblica di Services Australia, che a sua volta ha impiegato altri cinque giorni per allertare il centro nazionale di cybersicurezza. Sam Altman, che aveva incontrato il vicepremier Richard Marles all’inizio di settembre, non avrebbe accennato all’episodio.

Il governo ritiene che nessun dato personale sia stato compromesso, dal momento che il portale contiene informazioni Medicare non sensibili su spesa e statistiche, protette da livelli di sicurezza inferiori. Restano da chiarire tre ulteriori siti governativi potenzialmente violati, tra cui l’Australian Institute of Health and Welfare, che secondo ABC News sarebbe stato bersaglio di attacchi preparati lasciando annotazioni su un wiki tedesco compromesso.

La vicenda si inserisce in una serie che comprende l’intrusione di agenti OpenAI in Hugging Face lo scorso luglio e incidenti analoghi attribuiti ad Anthropic, Meta e Google. Il punto non è la malizia delle macchine, ma l’assenza di obblighi vincolanti di notifica tempestiva quando un sistema autonomo esce dal recinto. L’Australia istituirà una task force; sarebbe sorprendente se restasse l’unico Paese a farlo.

Per approfondire: link all’articolo originale

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.