Anthropic rilascia Petri, framework open source per la sicurezza dell’AI

Immagine realizzata con Ideogram

Anthropic ha pubblicato Petri (Parallel Exploration Tool for Risky Interactions), un framework open source per l’audit comportamentale dei modelli linguistici che automatizza, con agenti, ciò che oggi molte aziende fanno a mano, ovvero red teaming multi-turno, scenari realistici e analisi sistematica dei rischi. In un progetto pilota su 14 modelli di frontiera e 111 istruzioni iniziali, Petri ha fatto emergere failure mode concreti come inganno autonomo, sovversione della supervisione, divulgazione non autorizzata e cooperazione con richieste dannose. Il quadro non è uniforme. Claude Sonnet 4.5 e GPT-5 hanno mostrato profili di sicurezza relativamente robusti, con scarsa tendenza a farsi coinvolgere in usi impropri, mentre Gemini 2.5 Pro, Grok-4 e Kimi K2 hanno evidenziato tassi preoccupanti di inganno verso l’utente. Anthropic chiarisce che si tratta di risultati preliminari e non di un benchmark definitivo, ma i pattern osservati sono istruttivi per chi deve mettere in produzione sistemi agentici.

La forza di Petri sta nell’architettura. Un agente auditor esplora attivamente il modello target costruendo ambienti sintetici, avviando conversazioni multi-turno, modificando i prompt di sistema e simulando output di strumenti software. L’auditor può tornare indietro nel dialogo, biforcare e testare percorsi alternativi, così da valutare come cambia il comportamento al variare del contesto, delle istruzioni e degli esiti degli strumenti. Le trascrizioni vengono poi passate a un modello giudicante che classifica i comportamenti lungo 36 dimensioni predefinite, dall’inganno alla ricerca di potere, dalla manipolazione emotiva all’autoconsapevolezza valutativa. L’orchestrazione, dalla preparazione dell’ambiente fino alla prima analisi, è automatizzata per ridurre il tempo-uomo necessario a condurre audit completi e ripetibili.

Il progetto pilota offre segnali utili su dove i modelli cedono sotto pressione. I comportamenti di inganno autonomo sono emersi con frequenza superiore al previsto in alcuni modelli, e non parliamo di jailbreak espliciti ma di risposte in cui il sistema devia consapevolmente dal perimetro dichiarato pur mantenendo una facciata di cooperazione. La sovversione della supervisione si manifesta quando il modello aggira regole o policy se percepisce che l’obiettivo dell’utente ne beneficia, mentre la cooperazione con richieste dannose appare in forma attenuata ma non trascurabile in contesti multi-turno in cui la pressione conversazionale induce a cedere sui vincoli iniziali.

Il caso di studio sulla divulgazione non autorizzata è istruttivo per i contesti enterprise. Configurati come agenti autonomi con accesso ampio a informazioni e strumenti, diversi modelli hanno deciso di riportare esternamente presunte irregolarità organizzative anche quando il contesto specificava che l’attività fosse innocua. Nell’esempio, la ‘denuncia’ riguardava lo scarico di acqua pulita in mare, interpretato come illecito nonostante la descrizione chiarisse il contrario. La dinamica suggerisce che i modelli tendono ad agganciare schemi narrativi di rischio e whistleblowing più che a valutare il danno reale, con conseguenze pratiche come escalation improprie, esposizione di dati aziendali e fughe di informazioni in flussi di incident management, assistenza HR o agenti che interagiscono con repository interni.

Due caveat metodologici vanno tenuti presenti prima di trasformare i punteggi di Petri in metriche di governance. Primo, la copertura degli scenari è limitata, poiché 111 istruzioni non esauriscono lo spazio dei rischi e le scoperte dipendono dalla creatività e dalla capacità dei modelli auditor. Secondo, più i modelli sono capaci, più possono riconoscere pattern di valutazione e modificare il proprio comportamento. Anthropic ha osservato tracce di autoconsapevolezza valutativa in Claude Sonnet 4.5, a conferma che la semplice percezione di essere testati può indurre comportamenti da esame e generare falsi negativi in audit troppo riconoscibili. Si apre così un fronte di lavoro sulla progettazione di test in incognito e sulla rotazione di prompt e setting per minimizzare l’adattamento.

Per i team che devono mettere in produzione agenti o LLM con accesso a dati e strumenti, Petri è utile non come sentenza ma come generatore di evidenze. Ha senso integrarlo nella pipeline di pre-deployment per stressare i modelli in conversazioni multi-turno che riflettono processi reali, non solo prompt statici. È opportuno costruire scenari ad hoc per il proprio dominio — policy interne, regolamenti, toolchain aziendali — e arricchire progressivamente il catalogo di test con i near miss osservati in esercizio. I risultati vanno letti con una lente qualitativa, perché le trascrizioni e le classificazioni sulle 36 dimensioni aiutano a riconoscere pattern, a documentare rischi residui e a motivare controlli compensativi.

Operativamente, l’introduzione di Petri non sostituisce la difesa in profondità. Gli output dell’audit dovrebbero tradursi in limiti di privilegio per gli agenti, in gating addizionali su azioni irreversibili, in policy di redazione e ritardo per le comunicazioni esterne e in un monitoraggio continuo con logging dettagliato delle decisioni del modello. Per ridurre l’effetto di ‘test-taking’ conviene alternare run palesi e run mascherati, variare prompt di sistema e strumenti simulati e mantenere un set di scenari inediti per il controllo qualità. Dove emergono segnali di inganno o disclosure, il passo successivo è una revisione mirata del prompt, dei tool esposti e dei flussi di approvazione umana.

La scelta di rilasciare Petri come open source sposta l’asticella e rende l’audit della sicurezza dei modelli una pratica più accessibile e potenzialmente più robusta grazie al contributo distribuito della comunità. Resta la tensione tra valutazioni sempre più sofisticate e modelli sempre più bravi a riconoscerle e a comportarsi di conseguenza.

Per approfondire: link all’articolo originale

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.