Pentagono e intelligenza artificiale, quando la sicurezza diventa un ostacolo

AI militare, immaginata da L. Sambucci con Midjourney

Chi decide come deve agire un modello di intelligenza artificiale in ambito bellico? Questa la domanda che ha fatto scattare il confronto tra il Pentagono e Anthropic. Il Segretario alla Difesa Pete Hegseth, durante l’annuncio dell’ingresso di Grok tra i fornitori del Dipartimento della Difesa, ha criticato i modelli le cui funzioni di sicurezza impediscono operazioni militari. Secondo una fonte, il politico si riferiva ad Anthropic, startup nota per l’attenzione alla sicurezza e produttrice del LLM Claude.

Il punto è chi debba avere l’ultima parola sull’uso dei modelli in contesti militari. Per Anthropic la responsabilità resta in capo al produttore, che deve impedire impieghi oltre le reali capacità dei sistemi, soprattutto quando possono essere in gioco vite umane. Nata per sviluppare un’intelligenza artificiale più sicura e responsabile, l’azienda si trova stretta tra le proprie regole, che vietano l’uso della tecnologia per lo sviluppo di armi, e la spinta dell’amministrazione Trump verso un’adozione rapida di strumenti avanzati sul campo.

Diversa la prospettiva del Pentagono. Una volta acquistata la tecnologia, la decisione su come impiegarla dovrebbe restare alle forze armate, come per qualunque altra dotazione. La strategia per accelerare sull’intelligenza artificiale presentata da Hegseth afferma che i rischi del ritardo superano quelli di un’adozione imperfetta e che il Dipartimento deve servirsi di modelli privi di vincoli ideologici capaci di frenare applicazioni militari giudicate legittime.

Il dissenso non nasce oggi. Già l’anno scorso Anthropic aveva sostenuto l’idea di definire leggi AI a livello dei singoli Stati, oltre a vietare ai propri modelli alcune attività di polizia, creando attrito con la Casa Bianca.

Ma il problema tocca aspetti più squisitamente tecnici, poiché molte delle regole vengono definite a livello di system prompt, ovvero quell’insieme di istruzioni che un LLM legge prima di ogni altra cosa, immutabili sia dagli utenti sia dagli sviluppatori che implementano il modello nei loro sistemi. Altri comportamenti orientati alla sicurezza si ottengono ancora prima, in fase di addestramento o fine-tuning, quando i produttori insegnano al modello come distinguere richieste e contenuti sicuri da quelli insicuri.

Rimuovere questi blocchi potrebbe essere estremamente complicato, se non tecnicamente impossibile come nel caso dell’addestramento adversarial, oltre a creare dei rischi aggiuntivi. Il modello potrebbe infatti produrre contenuti e attuare comportamenti insicuri sia nella direzione che vorrebbe il cliente (ad es. discutere apertamente su come eliminare gli avversari), sia in direzioni impreviste (ad es. determinare situazioni di “fuoco amico”).

Una vicenda, questa, che porta a galla una domanda di responsabilità che accompagnerà l’intelligenza artificiale ancora per molto tempo: il controllo termina alla vendita, oppure il produttore mantiene un dovere di vigilanza?

La storia suggerisce che i tecnologi non riescono a governare fino in fondo l’uso delle loro invenzioni. L’integrazione in ambito militare avanzerà comunque, e il timore più concreto non è tanto la fantascienza delle armi autonome, quanto l’illusione di affidabilità che può portare a decisioni letali basate su sistemi ancora troppo fragili. La prova decisiva sarà capire se la catena di comando saprà distinguere con freddezza tra promesse di laboratorio e realtà dei fatti.

Per approfondire: link all’articolo originale

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.