Quando un benchmark smette di distinguere i modelli migliori da quelli mediocri, non è più un benchmark, è un rito collettivo di cui molti iniziano a fare volentieri a meno. È esattamente quello che è successo a SWE-Bench Verified, lo strumento di riferimento per valutare le capacità di programmazione dei modelli di intelligenza artificiale, che OpenAI ha ufficialmente deciso di abbandonare. La decisione, annunciata nei giorni scorsi dal team Frontier Evals dell’azienda, segna un passaggio rilevante nel modo in cui l’industria misura i progressi degli agenti di codifica e solleva interrogativi profondi sull’affidabilità degli strumenti con cui giudichiamo l’evoluzione dell’IA.
SWE-Bench Verified nacque come versione curata di SWE-Bench, un benchmark accademico sviluppato a Princeton che sottopone ai modelli problemi reali estratti da repository open source su GitHub. OpenAI investì risorse considerevoli nella sua creazione, impiegando quasi cento ingegneri software per verificare manualmente la qualità di cinquecento problemi, con triple revisioni indipendenti per ciascun caso. Per oltre un anno il benchmark ha rappresentato il metro di paragone accettato da tutta l’industria per confrontare i modelli di frontiera. I punteggi dei principali modelli si sono però progressivamente ammassati intorno all’ottanta per cento, con incrementi da un release all’altro talmente esigui da risultare privi di valore reale.
L’indagine condotta da OpenAI su 138 problemi residui ha portato alla luce due criticità decisive. La prima riguarda la qualità stessa dei test: oltre il sessanta per cento dei problemi rimasti irrisolti si è rivelato di fatto non risolvibile senza informazioni aggiuntive, a causa di specifiche troppo restrittive o di requisiti mai dichiarati nella descrizione del problema. La seconda, ancora più grave, riguarda la contaminazione dei dati di addestramento. Poiché i problemi di SWE-Bench provengono da repository open source ampiamente utilizzati nel training, i modelli hanno finito per assorbire le soluzioni stesse. OpenAI ha dimostrato che tutti i principali modelli di frontiera, inclusi i propri, erano in grado di riprodurre quasi alla lettera le soluzioni originali partendo dal solo identificativo del problema.
Il sostituto indicato da OpenAI è SWE-Bench Pro, sviluppato da Scale AI, che propone compiti più complessi e diversificati, stimati in ore anziché minuti di lavoro per un programmatore esperto, e che al momento mostra livelli di contaminazione trascurabili. Un dettaglio non banale è che OpenAI non eccelle affatto sul nuovo benchmark, dove Gemini 3 ottiene risultati migliori dei modelli GPT 5.x.
La vicenda di SWE-Bench Verified mette in evidenza un problema strutturale nella corsa all’intelligenza artificiale: i benchmark tendono a saturarsi e a perdere validità proprio nel momento in cui diventano lo standard di riferimento. Il futuro della valutazione si muove verso prove più aperte e sfaccettate, che includano la qualità del codice, le scelte progettuali e la capacità di costruire prodotti reali. In un settore dove i numeri governano le narrazioni e guidano gli investimenti, la trasparenza dimostrata in questa occasione è un atto necessario. Vedremo se l’industria saprà costruire strumenti di misura che riescano a tenere il passo con modelli sempre più capaci, o se ogni nuovo benchmark sia destinato a diventare il prossimo traguardo illusorio.
Per approfondire: link all’articolo originale
