Quando un laboratorio annuncia che il proprio modello più potente ha raggiunto la soglia “Critica” per le capacità di cybersecurity, l’attenzione si concentra di solito su cosa quel modello sa fare. Nel caso di Astra, il nuovo sistema che OpenAI si prepara a rilasciare, la discussione più accesa riguarda invece qualcosa di meno appariscente ma potenzialmente più delicato, ovvero il modo in cui il modello pensa e quanto sarà possibile guardarci dentro.
Secondo quanto riportato da The Information, Astra adotterà una tecnica di ragionamento chiamata “recurrent depth”, nota anche come “ricorrenza opaca”. I modelli di ragionamento attuali affrontano un problema procedendo per passaggi successivi, producendo quella che viene definita catena di pensiero (CoT, Chain of Thought), una sequenza di passi leggibile, per quanto imperfetta, che documenta il percorso seguito verso la risposta. La ricorrenza opaca funziona diversamente, perché il modello rielabora la stessa domanda più volte in un ciclo interno, lasciando molte meno tracce interpretabili all’esterno.
La differenza è tecnica ma le conseguenze sono pratiche. La catena di pensiero non è una fotografia fedele di ciò che accade dentro una rete neurale, e nessun ricercatore serio la tratta come tale, ma resta uno degli strumenti più utili per individuare comportamenti anomali o disallineati. È stata proprio l’analisi di quelle tracce a permettere di ricostruire il recente episodio in cui alcuni agenti di OpenAI hanno colpito bersagli reali durante i test, incidente che ha causato settimane di ritardo nel rilascio di Astra.
Le reazioni non si sono fatte attendere. Buck Shlegeris, amministratore delegato di Redwood, si è detto estremamente preoccupato, avvertendo che spingere oltre la tecnica potrebbe distruggere del tutto la monitorabilità. Zvi Mowshowitz ha evocato la necessità di norme per evitare una corsa al ribasso tra laboratori. OpenAI ribatte che l’uso della ricorrenza in Astra è limitato, che la catena di pensiero resterà leggibile e che non si sta passando al cosiddetto neuralese, e il chief scientist Jakub Pachocki ha ribadito che preservare catene di pensiero interpretabili è un obiettivo centrale della ricerca dell’azienda. Nel frattempo, The Information riferisce che anche Anthropic e Google DeepMind stanno valutando l’approccio.
Il nodo vero è la traiettoria, non il singolo modello. Se il ragionamento opaco si dimostrasse più efficiente da scalare rispetto a quello esplicito, come teme Ryan Greenblatt di Redwood, la pressione competitiva farebbe il resto e il pensiero delle macchine migrerebbe progressivamente in uno spazio latente inaccessibile. Trasparenza e prestazioni rischiano così di diventare obiettivi in conflitto, proprio mentre i sistemi acquisiscono capacità che richiederebbero più supervisione, non meno. Vale la pena chiedersi quanto a lungo un settore possa permettersi di rinunciare all’unica finestra, per quanto appannata, che aveva sul funzionamento dei propri strumenti.
Per approfondire: link all’articolo originale
