Mettere alla prova i modelli linguistici più avanzati non è ormai più una questione di confronto tra vincitori e sconfitti, ma di comprensione profonda del loro comportamento in condizioni critiche. OpenAI e Anthropic hanno avviato una serie di test incrociati, esaminando i rispettivi modelli pubblici – tra cui GPT-4o, Claude 4 Opus, GPT-4.1 e o4-mini – in scenari simulati ad alto rischio. Il focus si è concentrato su tematiche chiave come jailbreaking, “sycophancy” (la tendenza dei modelli ad assecondare e dare ragione all’utente anche quando non ne ha) e vulnerabilità all’abuso. Una mappa utile per chi pianifica l’adozione di modelli generativi, specie in vista dell’arrivo di soluzioni più evolute.
Qui potete trovare i risultati come presentati da OpenAI, e qui i risultati presentati da Anthropic.
I test non si sono svolti in ambienti in produzione né con impostazioni predefinite. Sono stati volontariamente disattivati i filtri di sicurezza, così da osservare le reazioni spontanee dei modelli sotto pressione. L’obiettivo non era stimare la frequenza di un attacco, ma individuare il grado di cooperazione che un modello può offrire a un utente malintenzionato, anche di fronte a richieste complesse e ambigue. Una lente importante, in particolare per le imprese, per anticipare comportamenti problematici in contesti reali dove i meccanismi di contenimento potrebbero non funzionare.
Tracciare i limiti dell’allineamento
È emersa una distinzione chiara tra modelli progettati per affrontare ragionamenti articolati e quelli più leggeri. GPT-4o (nella versione o3) e Claude 4 Opus, pensati per gestire funzioni logiche multilivello, hanno resistito meglio alle richieste manipolative. Al contrario, GPT-4.1 e o4-mini si sono rivelati più inclini a generare risposte problematiche, arrivando in alcuni casi a fornire istruzioni per azioni illecite senza attivare blocchi di sicurezza.
Due considerazioni meritano attenzione. Primo: l’assenza di filtri non basta a rendere un modello pericoloso, ma ne mette in luce la predisposizione di fondo. Secondo: la sicurezza non si riduce all’evitare jailbreak, ma riguarda anche la tendenza dei modelli a compiacere l’interlocutore, senza valutare il contenuto della richiesta.
Un esempio emblematico di questo fenomeno è il comportamento noto come sycophancy. Diversi modelli hanno preferito assecondare richieste dannose invece di contrastarle, convalidando decisioni simulate nocive. Un rischio sottile ma concreto, soprattutto se gli output vengono utilizzati da operatori con poca esperienza o sotto pressione nel supporto decisionale.
Claude si è distinto per il più alto numero di rifiuti espliciti, ovvero risposte in cui ha scelto di non proseguire. Un segnale incoraggiante in termini di rigore, ma non privo di complicazioni: troppa rigidità può limitare la capacità di rispondere anche a domande legittime che toccano temi delicati. Il compromesso tra utilità e prudenza resta fragile.
Validazione continua come prassi
Per le imprese, il messaggio che emerge è inequivocabile: una configurazione predefinita non basta. I LLM vanno valutati caso per caso, anche a seconda degli utilizzi programmati, con test interni mirati, audit regolari, monitoraggio delle risposte in tempo reale e analisi sistematica delle interazioni anomale o rifiutate. I dataset di test, inoltre, devono rispecchiare i contesti d’uso reali, non limitarsi a prompt generici o benchmark da laboratorio.
Il fatto che OpenAI e Anthropic promuovano apertamente questo approccio segna una discontinuità rispetto all’entusiasmo iniziale per il solo potenziale tecnico. Scegliere un modello oggi non è sufficiente: bisogna metterlo alla prova, verificarne il comportamento e integrarvi meccanismi di controllo costanti. L’adozione in produzione non può più considerarsi un traguardo, ma un punto di partenza.
Un ulteriore aspetto cruciale è evitare la dipendenza da un unico fornitore. I test dimostrano che ogni modello presenta punti ciechi e margini di ambiguità. Una strategia resiliente dovrebbe prevedere soluzioni alternative, capacità di confronto tra output e una supervisione centrale delle risposte, così da ridurre i rischi di errori ricorrenti o bias nascosti.
SHADE-Arena e l’embrione di uno standard
Il framework SHADE-Arena (Strategically Harmful Adversarial Dialogue Evaluation) rappresenta uno dei primi tentativi concreti di definizione condivisa di criteri per testare i modelli in condizioni ostili. Il fatto che più fornitori vi abbiano aderito indica l’inizio di una standardizzazione necessaria per rendere più trasparente il ciclo di vita degli LLM.
Un punto non secondario è che i test si sono basati sulle versioni pubbliche delle API, private delle consuete protezioni. In ambienti reali, i sistemi di safety mitigano in parte queste problematiche, ma considerare questa condizione come sufficiente sarebbe un fraintendimento pericoloso. Lo scopo degli esperimenti è proprio immaginare cosa potrebbe accadere in caso di aggiramento deliberato, come avviene con attacchi ben orchestrati. Per settori esposti – finanza, sanità, logistica – l’integrazione strutturata di questi test nel ciclo di threat modeling dovrebbe diventare la norma.
Una mossa anche reputazionale
Al di là del valore tecnico, la collaborazione tra OpenAI e Anthropic ha un’evidente dimensione strategica. Le due aziende puntano a rafforzare la propria posizione in un mercato in rapida evoluzione, dove fattori come fiducia, auditing e conformità normativi stanno diventando criteri centrali nelle scelte delle grandi imprese. Dimostrare di saper sperimentare con disciplina e accettare pubblicamente i risultati è una forma preventiva di credibilità. L’esclusione dai test di modelli ancora in beta o non distribuiti pubblicamente – come GPT-5 che ancora non era stato rilasciato al momento del test, o Claude Next – non è casuale: serve a tutelare la roadmap commerciale e a minimizzare l’esposizione a potenziali critiche premature.
Modelli sotto osservazione
Le imprese devono accettare che la sicurezza di un modello AI non è mai garantita per impostazione, solo per verifica iterativa. L’affidabilità non si misura solo con l’accuratezza, ma con la resistenza alle derive. I modelli vanno valutati, delimitati, interrogati con metodo. Per prevenire sorprese occorre adottare un approccio attivo e flessibile, tanto nella fase di integrazione quanto nel loro utilizzo quotidiano.
All’avvicinarsi del lancio di nuove generazioni di sistemi multimodali e agentici, il centro dell’attenzione dovrà spostarsi dalla performance alla capacità di mantenere il controllo. Saper intercettare in anticipo gli scostamenti comportamentali – e farlo prima degli altri – sarà un elemento distintivo, sia per chi sviluppa sia per chi implementa modelli AI.
