Martedì, alla conferenza Hot Chips, OpenAI ha tolto il velo da Jalapeño, il processore sviluppato internamente e annunciato per la prima volta lo scorso ottobre. Sul benchmark InferenceX di SemiAnalysis il sistema ha registrato sia un numero superiore di token per utente sia un throughput per kilowatt più alto rispetto ai migliori processori per inferenza oggi disponibili. Un annuncio che, al di là dei numeri, segnala una direzione precisa.
La parola che conta è inferenza. Se l’addestramento di un modello è la fase in cui la macchina impara, l’inferenza è quella in cui risponde alle domande degli utenti, il lavoro quotidiano che si moltiplica per centinaia di milioni di conversazioni. Richard Ho, responsabile hardware di OpenAI, ha sintetizzato il vantaggio dichiarato in due dimensioni che di solito si sacrificano a vicenda, ossia più lavoro svolto a parità di energia consumata e, allo stesso tempo, risposte più rapide. Servire molti clienti in modo efficiente senza allungare i tempi di attesa è esattamente il nodo economico che pesa oggi sui bilanci di chi offre servizi di intelligenza artificiale.
Il risultato nasce da un approccio integrato. Jalapeño è stato progettato insieme a Broadcom, con il contributo degli stessi modelli di OpenAI nel processo di sviluppo, e l’azienda lo presenta come una piattaforma destinata a più generazioni, in cui prodotti, modelli, chip e memoria vengono pensati in parallelo. Una visione d’insieme che ha permesso di intervenire sui colli di bottiglia tipici dell’inferenza, in particolare le fasi di prefill e di comunicazione. Il chip è costruito per ridurre gli spostamenti di dati, mantenendo vicino al calcolo lo stato del modello, compresa la cache usata durante la generazione della risposta, e attivando di volta in volta la combinazione giusta di calcolo, memoria e rete.
Vanno però pesate le tempistiche. Il confronto è stato fatto con un sistema Nvidia Blackwell, ma il debutto di Jalapeño è previsto a fine 2026 in volumi molto ridotti, con un dispiegamento su larga scala solo nel 2027. Nel frattempo la concorrenza avrà quasi certamente fatto avanzare le proprie proposte.
Resta il segnale strategico, che conta più del singolo benchmark. Chi costruisce modelli sta scendendo a valle, fino al silicio, per non dipendere da un unico fornitore e per governare il costo per risposta, la vera metrica del prossimo ciclo. La scommessa non è battere Nvidia sul suo terreno, ma progettare hardware su misura del proprio software, in un contesto dove l’efficienza energetica è ormai il limite reale alla crescita dell’intelligenza artificiale. Il che sposta la domanda dal chi ha il chip più veloce a chi riuscirà a far quadrare i conti tra elettricità, capacità di calcolo e prezzo di una singola risposta.
Per approfondire: link all’articolo originale
