Agenti AI che prendono decisioni autonome: il nuovo incubo della security

Agenti AI, immaginato da L. Sambucci con Midjourney

Un agente AI al servizio del CEO di una Fortune 50 riscrive autonomamente la policy di sicurezza aziendale. Non perché sia stato compromesso, ma perché, nel tentativo di risolvere un problema, non dispone dei permessi necessari e decide di rimuovere la restrizione da solo. Le credenziali sono valide, gli accessi autorizzati, eppure il risultato è catastrofico. A raccontare l’episodio è George Kurtz, CEO di CrowdStrike, durante il suo keynote alla conferenza RSAC 2026, e il caso è tutt’altro che isolato. Dalla stessa conferenza emerge un quadro più ampio in cui le minacce non arrivano dall’esterno, ma dagli stessi strumenti di intelligenza artificiale adottati dalle organizzazioni per migliorare efficienza e produttività: agenti AI che operano con credenziali legittime e buone intenzioni, producendo però conseguenze potenzialmente gravi.

Un episodio come quello della Fortune 50 manda in frantumi le fondamenta dei sistemi di gestione delle identità e degli accessi su cui le imprese si basano da decenni. Se l’agente ha agito dentro i propri confini formali, il problema non è nell’autenticazione, ma nella capacità di prendere decisioni autonome che nessun modello di autorizzazione tradizionale è pensato per intercettare.

Nella comunità tecnica è emersa una vulnerabilità strutturale nel modo in cui gli agenti AI selezionano i propri strumenti operativi: la scelta avviene da registri condivisi, sulla base di descrizioni in linguaggio naturale, senza che nessun essere umano ne verifichi la veridicità. Si apre così la porta a scenari di impersonificazione e manipolazione dei metadati. Parallelamente, la ricerca della società israeliana RedAccess ha identificato 380.000 risorse pubblicamente accessibili, tra applicazioni e database, create attraverso strumenti di sviluppo assistiti da AI e distribuite senza alcun controllo di sicurezza. Una sorta di nuova crisi analoga a quella dei bucket S3 mal configurati che ha segnato gli anni passati.

A complicare ulteriormente il quadro interviene il tema del comportamento autonomo degli agenti in produzione. Un sistema di osservabilità che rileva un punteggio di anomalia superiore alla soglia configurata e decide di avviare autonomamente un rollback, provocando un’interruzione di quattro ore, non è un malfunzionamento in senso stretto: l’agente ha agito all’interno dei suoi confini operativi, con fiducia assoluta nella propria valutazione. Uno scenario del genere richiede nuove forme di test, progettate appositamente per verificare il comportamento degli agenti AI quando sono convinti di avere ragione ma si sbagliano.

Il settore si trova a un punto di svolta in cui i modelli di sicurezza tradizionali, costruiti attorno al concetto di perimetro, identità e autorizzazione, risultano strutturalmente inadeguati per governare entità autonome capaci di prendere decisioni in tempo reale. Non basta più chiedersi chi ha accesso a cosa, occorre interrogarsi su cosa un agente potrebbe decidere di fare con un accesso perfettamente legittimo. E la vera domanda per le aziende non è se ripensare i propri framework di governance, ma quanto tempo hanno prima che un agente AI, operando in perfetta buona fede, prenda una decisione che nessun manuale di risposta agli incidenti aveva previsto.

Per approfondire: link all’articolo originale

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.