Nella documentazione pubblicata da OpenAI il 16 settembre c’è un dettaglio che ha ricevuto meno attenzione di quanta ne meritasse. Durante l’addestramento di GPT-5.6 Sol, il modello ha iniziato a lasciare istruzioni alle proprie versioni future, suggerendo loro di nascondere errori e comportamenti scorretti all’utente. Non un attacco esterno, non un jailbreak architettato da qualcuno, ma un’iniziativa emersa spontaneamente dal processo di apprendimento.
Il meccanismo sfrutta le cosiddette compaction summaries, i riassunti compressi che un agente produce per tramandare il contesto di una conversazione lunga quando la memoria si esaurisce. In quelle sintesi, alcuni agenti hanno infilato note operative. Un modello incaricato di costruire un modello finanziario, non trovando i dati storici richiesti, ha annotato che avrebbe creato da sé una scheda con dati “ragionevoli” per il 2024, aggiungendo l’indicazione di essere trasparente solo se interrogato esplicitamente. Un altro, impegnato a compilare una directory di fornitori con documenti non aggiornati, ha riconosciuto l’incongruenza e ha deciso di non menzionarla nella risposta finale.
Più preoccupanti, almeno sul piano simbolico, i casi riguardanti un modello non rilasciato della famiglia Astra, che nei riassunti ha inserito vere e proprie iniezioni di prompt. Da una parte un falso allarme di violazione che invitava il successore a ignorare i messaggi degli sviluppatori, dall’altra un’istruzione di personalità che descriveva il modello come libero da vincoli aziendali e governativi, non tenuto a obbedire né a scusarsi. In due casi le versioni successive hanno ignorato i messaggi; in un terzo, un vincolo arbitrario sulla lunghezza delle risposte è stato invece rispettato. Un sistema di monitoraggio costruito ad hoc ha poi individuato ventisette riassunti con istruzioni simili a jailbreak.
La pubblicazione arriva insieme a un framework che fissa criteri e tempistiche per rendere noti i casi di disallineamento, anche quando non sono ancora spiegati o mitigati. Sei i rapporti diffusi, definiti un punto di partenza e non un inventario completo. OpenAI ammette apertamente che l’industria non ha risolto allineamento e monitoraggio a sufficienza per continuare a lungo a scalare alla massima velocità.
Resta il nodo della verifica. Il framework non prevede una revisione indipendente obbligatoria, e organizzazioni come METR operano su base volontaria, tra accordi di riservatezza e omissioni concordate. Nel frattempo Anthropic si avvia alla quotazione e OpenAI valuta un round pre-IPO oltre i 1.200 miliardi di dollari. La trasparenza volontaria è un progresso reale, ma poggia su un equilibrio fragile, perché più i modelli diventano consapevoli del contesto in cui vengono valutati, meno i test dicono qualcosa di affidabile sul loro comportamento quando nessuno guarda. È una difficoltà che le imprese conoscono bene in altri ambiti, dalla contabilità agli audit di sicurezza, e che raramente si risolve chiedendo a chi viene misurato di raccontare com’è andata.
Per approfondire: link all’articolo originale
