Il primo chip interno di OpenAI supera NVIDIA in velocità ed efficienza energetica
OpenAI ha pubblicato i primi dati dettagliati sulle prestazioni di Jalapeño, il suo primo chip progettato specificamente per l'inferenza AI. Nei test condotti dall'azienda su tre grandi modelli linguistici, il chip ha offerto un throughput di picco per unità di potenza da 1,5 a 1,9 volte superiore e una latenza end-to-end delle query da 1,7 a 3,6 volte inferiore rispetto ai sistemi NVIDIA GB200 e GB300 usati per il confronto. Questo non significa che NVIDIA sia stata detronizzata, ma mostra perché le più grandi aziende di AI vogliono sempre più progettare una quota maggiore del proprio hardware.
Jalapeño non compete con i chip per l'addestramento
Questo è il primo chip per l'inferenza sviluppato internamente da OpenAI, il che significa che è stato ottimizzato principalmente per eseguire modelli già addestrati piuttosto che per addestrare da zero nuovi grandi modelli. L'azienda continuerà a utilizzare acceleratori di NVIDIA e di altri partner sia per l'addestramento sia per l'inferenza.
OpenAI ha utilizzato il benchmark pubblico InferenceX e ha testato tre modelli: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T. I sistemi NVIDIA GB200 e GB300 sono stati usati come riferimento di confronto.
Con GPT-OSS 120B, Jalapeño ha raggiunto un throughput di picco di 85.448 token di input e output al secondo per kilowatt, rispetto ai 44.960 del GB200. Ciò conferisce a Jalapeño un vantaggio di circa 1,9 volte. La latenza end-to-end della query è stata rispettivamente di 1,03 secondi contro 1,80 secondi.
DeepSeek R1 ha prodotto un divario di latenza ancora maggiore. Jalapeño ha completato la query in 1,65 secondi, mentre il GB300 ha richiesto 5,99 secondi. Il throughput di picco per unità di potenza ha raggiunto 19.641 token di input e output al secondo per kilowatt su Jalapeño e 11.781 sul GB300. Con Kimi K2.5, OpenAI ha misurato per Jalapeño un throughput di picco per unità di potenza superiore di circa 1,5 volte e una latenza totale inferiore di 3,4 volte.
Si tratta di misurazioni effettuate da OpenAI, non di risultati di un laboratorio indipendente. Anche i dati sull'efficienza energetica devono essere letti nel contesto della metodologia. OpenAI ha normalizzato i risultati usando la potenza nominale pubblicata degli acceleratori, anziché misurare il consumo energetico effettivo di ogni sistema concorrente in condizioni identiche.
Il chip da 700 W non ha assorbito più di 550 W nei test
Jalapeño ha una potenza nominale di 700 W. Secondo OpenAI, il consumo energetico effettivo è rimasto pari o inferiore a 550 W nei carichi di lavoro testati. Per i suoi calcoli, l'azienda ha utilizzato le potenze nominali pubblicate da NVIDIA di 1.200 W per il GB200 e 1.400 W per il GB300.
Il lavoro svolto per unità di potenza sta diventando sempre più importante nei grandi data center AI. La capacità elettrica, il raffreddamento e le connessioni alla rete possono limitare la crescita delle server farm tanto quanto la disponibilità di chip. Se da ogni kilowatt è possibile servire più query, il costo dell'infrastruttura per token generato o richiesta utente diminuisce.
L'architettura di Jalapeño è progettata attorno alle diverse fasi dell'inferenza dei modelli linguistici. L'elaborazione iniziale dell'input, o prefill, richiede principalmente capacità di calcolo. La generazione della risposta token per token, o decode, dipende maggiormente dalla larghezza di banda della memoria. Si impiega inoltre tempo per spostare dati e stato del modello tra chip e unità di calcolo.
OpenAI ha progettato processore, memoria, rete e software come un unico sistema integrato, al fine di ridurre gli spostamenti di dati non necessari. Tra le altre cose, l'architettura consente alla cache KV utilizzata durante la generazione della risposta di rimanere il più locale possibile.
L'AI ha contribuito a progettare il chip stesso
L'AI ha svolto un ruolo diretto nello sviluppo di Jalapeño. Secondo OpenAI, il team è passato dal progetto iniziale al tape-out in nove mesi. L'AI è stata utilizzata per esplorare opzioni di implementazione, ottimizzare blocchi aritmetici e accelerare i cicli di verifica e misurazione.
In seguito, il team ha utilizzato Codex insieme a GPT-Astra per ottimizzare il chip per tre modelli a pesi aperti che non facevano parte del piano di produzione originale. Il lavoro ha richiesto due mesi. In blocchi selezionati di attenzione e mixture-of-experts di GPT-OSS, le implementazioni generate dall'AI hanno funzionato da 1,5 a 1,8 volte più velocemente rispetto alle versioni precedenti scritte da esperti.
Vi è un'importante avvertenza: tale guadagno prestazionale si applica a blocchi di calcolo selezionati, non al modello GPT-OSS nel suo complesso.
Il problema di NVIDIA non è ancora Jalapeño, ma la tendenza che rappresenta
Un singolo chip specializzato non trasformerà dall'oggi al domani il mercato dell'hardware AI. Il vantaggio di NVIDIA risiede non solo nelle prestazioni di calcolo pure del GB200 o del GB300, ma anche nell'ecosistema software CUDA, nel networking, nell'architettura dei server e nella capacità di utilizzare la stessa piattaforma per un'ampia gamma di modelli e carichi di lavoro.
Il significato di Jalapeño risiede altrove. OpenAI sa esattamente quali carichi di lavoro generano i propri servizi e può ottimizzare l'hardware attorno a essi. Google, Amazon e altre grandi aziende cloud seguono la stessa logica da anni. L'ingresso di OpenAI sul mercato con un proprio chip aggiunge ulteriore pressione affinché il calcolo AI diventi più economico ed efficiente dal punto di vista energetico.
OpenAI prevede di implementare Jalapeño nella propria infrastruttura di calcolo entro la fine del 2026. Un chip di seconda generazione è già in fase avanzata di sviluppo, mentre l'architettura di una terza generazione sta prendendo forma.
L'efficienza energetica è particolarmente importante per l'Europa. La crescita dei data center AI significa concorrenza diretta per la capacità elettrica e le connessioni alla rete. Se i chip specializzati per l'inferenza possono davvero offrire una quantità sostanzialmente maggiore di lavoro utile per kilowatt, il loro impatto economico potrebbe rivelarsi più importante di qualsiasi singola vittoria nei benchmark contro NVIDIA.
Jalapeño non compete con i chip per l'addestramento
Questo è il primo chip per l'inferenza sviluppato internamente da OpenAI, il che significa che è stato ottimizzato principalmente per eseguire modelli già addestrati piuttosto che per addestrare da zero nuovi grandi modelli. L'azienda continuerà a utilizzare acceleratori di NVIDIA e di altri partner sia per l'addestramento sia per l'inferenza.
OpenAI ha utilizzato il benchmark pubblico InferenceX e ha testato tre modelli: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T. I sistemi NVIDIA GB200 e GB300 sono stati usati come riferimento di confronto.
Con GPT-OSS 120B, Jalapeño ha raggiunto un throughput di picco di 85.448 token di input e output al secondo per kilowatt, rispetto ai 44.960 del GB200. Ciò conferisce a Jalapeño un vantaggio di circa 1,9 volte. La latenza end-to-end della query è stata rispettivamente di 1,03 secondi contro 1,80 secondi.
DeepSeek R1 ha prodotto un divario di latenza ancora maggiore. Jalapeño ha completato la query in 1,65 secondi, mentre il GB300 ha richiesto 5,99 secondi. Il throughput di picco per unità di potenza ha raggiunto 19.641 token di input e output al secondo per kilowatt su Jalapeño e 11.781 sul GB300. Con Kimi K2.5, OpenAI ha misurato per Jalapeño un throughput di picco per unità di potenza superiore di circa 1,5 volte e una latenza totale inferiore di 3,4 volte.
Si tratta di misurazioni effettuate da OpenAI, non di risultati di un laboratorio indipendente. Anche i dati sull'efficienza energetica devono essere letti nel contesto della metodologia. OpenAI ha normalizzato i risultati usando la potenza nominale pubblicata degli acceleratori, anziché misurare il consumo energetico effettivo di ogni sistema concorrente in condizioni identiche.
Il chip da 700 W non ha assorbito più di 550 W nei test
Jalapeño ha una potenza nominale di 700 W. Secondo OpenAI, il consumo energetico effettivo è rimasto pari o inferiore a 550 W nei carichi di lavoro testati. Per i suoi calcoli, l'azienda ha utilizzato le potenze nominali pubblicate da NVIDIA di 1.200 W per il GB200 e 1.400 W per il GB300.
Il lavoro svolto per unità di potenza sta diventando sempre più importante nei grandi data center AI. La capacità elettrica, il raffreddamento e le connessioni alla rete possono limitare la crescita delle server farm tanto quanto la disponibilità di chip. Se da ogni kilowatt è possibile servire più query, il costo dell'infrastruttura per token generato o richiesta utente diminuisce.
L'architettura di Jalapeño è progettata attorno alle diverse fasi dell'inferenza dei modelli linguistici. L'elaborazione iniziale dell'input, o prefill, richiede principalmente capacità di calcolo. La generazione della risposta token per token, o decode, dipende maggiormente dalla larghezza di banda della memoria. Si impiega inoltre tempo per spostare dati e stato del modello tra chip e unità di calcolo.
OpenAI ha progettato processore, memoria, rete e software come un unico sistema integrato, al fine di ridurre gli spostamenti di dati non necessari. Tra le altre cose, l'architettura consente alla cache KV utilizzata durante la generazione della risposta di rimanere il più locale possibile.
L'AI ha contribuito a progettare il chip stesso
L'AI ha svolto un ruolo diretto nello sviluppo di Jalapeño. Secondo OpenAI, il team è passato dal progetto iniziale al tape-out in nove mesi. L'AI è stata utilizzata per esplorare opzioni di implementazione, ottimizzare blocchi aritmetici e accelerare i cicli di verifica e misurazione.
In seguito, il team ha utilizzato Codex insieme a GPT-Astra per ottimizzare il chip per tre modelli a pesi aperti che non facevano parte del piano di produzione originale. Il lavoro ha richiesto due mesi. In blocchi selezionati di attenzione e mixture-of-experts di GPT-OSS, le implementazioni generate dall'AI hanno funzionato da 1,5 a 1,8 volte più velocemente rispetto alle versioni precedenti scritte da esperti.
Vi è un'importante avvertenza: tale guadagno prestazionale si applica a blocchi di calcolo selezionati, non al modello GPT-OSS nel suo complesso.
Il problema di NVIDIA non è ancora Jalapeño, ma la tendenza che rappresenta
Un singolo chip specializzato non trasformerà dall'oggi al domani il mercato dell'hardware AI. Il vantaggio di NVIDIA risiede non solo nelle prestazioni di calcolo pure del GB200 o del GB300, ma anche nell'ecosistema software CUDA, nel networking, nell'architettura dei server e nella capacità di utilizzare la stessa piattaforma per un'ampia gamma di modelli e carichi di lavoro.
Il significato di Jalapeño risiede altrove. OpenAI sa esattamente quali carichi di lavoro generano i propri servizi e può ottimizzare l'hardware attorno a essi. Google, Amazon e altre grandi aziende cloud seguono la stessa logica da anni. L'ingresso di OpenAI sul mercato con un proprio chip aggiunge ulteriore pressione affinché il calcolo AI diventi più economico ed efficiente dal punto di vista energetico.
OpenAI prevede di implementare Jalapeño nella propria infrastruttura di calcolo entro la fine del 2026. Un chip di seconda generazione è già in fase avanzata di sviluppo, mentre l'architettura di una terza generazione sta prendendo forma.
L'efficienza energetica è particolarmente importante per l'Europa. La crescita dei data center AI significa concorrenza diretta per la capacità elettrica e le connessioni alla rete. Se i chip specializzati per l'inferenza possono davvero offrire una quantità sostanzialmente maggiore di lavoro utile per kilowatt, il loro impatto economico potrebbe rivelarsi più importante di qualsiasi singola vittoria nei benchmark contro NVIDIA.
