Da mesi i laboratori di frontiera inseguono la stessa idea, cioè usare modelli di intelligenza artificiale per addestrare altri modelli. Il 28 agosto Anthropic ha pubblicato un paper che offre uno dei primi sguardi concreti su come la cosa possa funzionare nella pratica. Il titolo, tradotto, suona già come una dichiarazione di intenti, perché sostiene che i ricercatori automatizzati possono mitigare in modo affidabile i fallimenti di allineamento.
Il lavoro, guidato da Chen Yueh-Han nell’ambito del programma fellows dell’azienda, mette alla prova un sistema chiamato Automated Alignment Researcher. L’allineamento, per chi non mastica il gergo, è la disciplina che si occupa di far sì che un modello si comporti secondo le intenzioni di chi lo costruisce, evitando risposte ingannevoli, manipolatorie o comunque indesiderate. Il sistema automatizzato replica il metodo di lavoro di un ricercatore umano, consultando la letteratura scientifica disponibile, formulando un’ipotesi di intervento, addestrando il modello per trenta minuti con quel metodo e misurandone i risultati. Le tecniche che funzionano vengono conservate, le altre scartate, e il ciclo ricomincia.
I numeri raccontano un esito sorprendente. Di fronte a dieci benchmark che misuravano altrettanti comportamenti disallineati, il sistema ha migliorato le prestazioni su tutti e dieci, senza peggiorare le capacità generali dei modelli. Anthropic ha raccontato l’esperimento anche pubblicamente, spiegando di aver concesso a Claude quarantotto ore e una sola GPU per migliorare l’allineamento di modelli di piccole dimensioni. Il confronto con il lavoro umano è esplicito e poco diplomatico, perché il metodo migliore prodotto dal sistema automatico batte in media entro sei ore quanto proposto da ricercatori esperti, e le direzioni di ricerca suggerite dagli umani non hanno portato a risultati superiori.
C’è poi il capitolo costi, quello che di solito convince chi non si lascia impressionare dalle metriche. Un ricercatore automatizzato costa circa quattro dollari l’ora di inferenza via API, contro i centocinquanta dollari orari pagati a un ricercatore umano. Il paper però non nasconde i limiti, dato che il sistema funziona solo nella misura in cui i benchmark rappresentano davvero gli obiettivi di allineamento, e costruirli e mantenerli resta un lavoro tutt’altro che banale, così come tenere aggiornata la letteratura da cui il sistema attinge.
Il punto interessante sta qui. Se un modello può migliorare il proprio addestramento all’allineamento, è ragionevole pensare che possa migliorare anche altre pratiche di addestramento, che è poi la definizione stessa di auto-miglioramento ricorsivo, considerato da molti il prossimo salto decisivo del settore. Resta però un paradosso da non sottovalutare, perché delegare a un’intelligenza artificiale il compito di rendere affidabili le intelligenze artificiali significa fidarsi del giudizio di chi si sta valutando. I benchmark restano l’unico ancoraggio umano rimasto, e vale la pena chiedersi per quanto ancora basteranno a reggere il peso che gli stiamo caricando addosso.
Per approfondire: link all’articolo originale
