OpenAI’s eerste eigen chip overtreft NVIDIA op snelheid en energie-efficiëntie
OpenAI heeft de eerste gedetailleerde prestatiecijfers gepubliceerd voor Jalapeño, zijn eerste chip die specifiek is ontworpen voor AI-inferentie. In de eigen tests van het bedrijf met drie grote taalmodellen leverde de chip 1,5-1,9 keer hogere piekdoorvoer per eenheid vermogen en 1,7-3,6 keer lagere end-to-end-querylatentie dan de NVIDIA GB200- en GB300-systemen die ter vergelijking werden gebruikt. Dat betekent niet dat NVIDIA is onttroond, maar het laat wel zien waarom de grootste AI-bedrijven steeds meer van hun eigen hardware willen ontwerpen.
Jalapeño concurreert niet met trainingschips
Dit is OpenAI’s eerste eigen inferentiechip, wat betekent dat hij vooral is geoptimaliseerd voor het uitvoeren van modellen die al zijn getraind, in plaats van voor het vanaf nul trainen van nieuwe grote modellen. Het bedrijf zal accelerators van NVIDIA en andere partners blijven gebruiken voor zowel training als inferentie.
OpenAI gebruikte de openbare InferenceX-benchmark en testte drie modellen: GPT-OSS 120B, DeepSeek R1 670B en Kimi K2.5 1T. NVIDIA’s GB200 en GB300 werden als vergelijkingssystemen gebruikt.
Met GPT-OSS 120B behaalde Jalapeño een piekdoorvoer van 85.448 invoer- en uitvoertokens per seconde per kilowatt, tegenover 44.960 voor de GB200. Daarmee heeft Jalapeño een voordeel van ongeveer 1,9 keer. De end-to-end-querylatentie bedroeg respectievelijk 1,03 seconden tegenover 1,80 seconden.
DeepSeek R1 liet een nog groter verschil in latentie zien. Jalapeño voltooide de query in 1,65 seconden, terwijl de GB300 5,99 seconden nodig had. De piekdoorvoer per eenheid vermogen bereikte 19.641 invoer- en uitvoertokens per seconde per kilowatt op Jalapeño en 11.781 op de GB300. Met Kimi K2.5 mat OpenAI voor Jalapeño ongeveer 1,5 keer hogere piekdoorvoer per eenheid vermogen en 3,4 keer lagere totale latentie.
Dit zijn OpenAI’s eigen metingen, geen resultaten van een onafhankelijk laboratorium. De cijfers voor energie-efficiëntie moeten ook worden gelezen in de context van de methodologie. OpenAI normaliseerde de resultaten met behulp van het gepubliceerde nominale vermogen van de accelerators, in plaats van het werkelijke stroomverbruik van elk concurrerend systeem onder identieke omstandigheden te meten.
De chip van 700 W verbruikte in tests niet meer dan 550 W
Jalapeño heeft een nominaal vermogen van 700 W. Volgens OpenAI bleef het werkelijke stroomverbruik bij de geteste workloads op of onder 550 W. Voor zijn berekeningen gebruikte het bedrijf NVIDIA’s gepubliceerde nominale vermogen van 1.200 W voor de GB200 en 1.400 W voor de GB300.
De hoeveelheid geleverd werk per eenheid vermogen wordt steeds belangrijker in grote AI-datacenters. Elektrische capaciteit, koeling en netaansluitingen kunnen de groei van serverparken net zo sterk beperken als de beschikbaarheid van chips. Als met elke kilowatt meer queries kunnen worden verwerkt, dalen de infrastructuurkosten per gegenereerd token of gebruikersverzoek.
De architectuur van Jalapeño is ontworpen rond de verschillende fasen van taalmodelinferentie. De initiële verwerking van invoer, of prefill, is vooral rekenintensief. Het token voor token genereren van het antwoord, of decode, is sterker afhankelijk van geheugenbandbreedte. Ook het verplaatsen van data en modelstatus tussen chips en rekeneenheden kost tijd.
OpenAI ontwierp de processor, het geheugen, de netwerkinfrastructuur en de software als één geïntegreerd systeem om onnodige dataverplaatsing te verminderen. De architectuur maakt het onder meer mogelijk dat de tijdens het genereren van antwoorden gebruikte KV-cache zo lokaal mogelijk blijft.
AI hielp bij het ontwerpen van de chip zelf
AI speelde een directe rol bij de ontwikkeling van Jalapeño. Volgens OpenAI ging het team in negen maanden van het eerste ontwerp naar tape-out. AI werd gebruikt om implementatieopties te verkennen, rekenblokken te optimaliseren en verificatie- en meetcycli te versnellen.
Het team gebruikte later Codex samen met GPT-Astra om de chip te optimaliseren voor drie open-weight-modellen die geen deel uitmaakten van het oorspronkelijke productieplan. Het werk duurde twee maanden. In geselecteerde GPT-OSS-attentie- en mixture-of-experts-blokken draaiden door AI gegenereerde implementaties 1,5-1,8 keer sneller dan de eerdere door experts geschreven versies.
Er is een belangrijke kanttekening: die prestatiewinst geldt voor geselecteerde rekenblokken, niet voor het GPT-OSS-model als geheel.
Het probleem van NVIDIA is nog niet Jalapeño, maar de trend erachter
Een enkele gespecialiseerde chip zal de markt voor AI-hardware niet van de ene op de andere dag hervormen. NVIDIA’s voordeel ligt niet alleen in de ruwe rekenprestaties van de GB200 of GB300, maar ook in het CUDA-software-ecosysteem, netwerken, serverarchitectuur en de mogelijkheid om hetzelfde platform te gebruiken voor een breed scala aan modellen en workloads.
De betekenis van Jalapeño ligt elders. OpenAI weet precies welke workloads zijn eigen diensten genereren en kan hardware daarop optimaliseren. Google, Amazon en andere grote cloudbedrijven volgen al jaren dezelfde logica. De komst van OpenAI op de markt met een eigen chip vergroot de druk om AI-rekenkracht goedkoper en energiezuiniger te maken.
OpenAI is van plan Jalapeño tegen het einde van 2026 in zijn eigen rekeninfrastructuur in te zetten. Een chip van de tweede generatie is al vergevorderd in ontwikkeling, terwijl de architectuur van een derde generatie vorm begint te krijgen.
Energie-efficiëntie is bijzonder belangrijk voor Europa. De groei van AI-datacenters betekent directe concurrentie om elektrische capaciteit en netaansluitingen. Als gespecialiseerde inferentiechips werkelijk aanzienlijk meer nuttig werk per kilowatt kunnen leveren, kan hun economische impact belangrijker blijken dan welke afzonderlijke benchmarkoverwinning op NVIDIA dan ook.
Jalapeño concurreert niet met trainingschips
Dit is OpenAI’s eerste eigen inferentiechip, wat betekent dat hij vooral is geoptimaliseerd voor het uitvoeren van modellen die al zijn getraind, in plaats van voor het vanaf nul trainen van nieuwe grote modellen. Het bedrijf zal accelerators van NVIDIA en andere partners blijven gebruiken voor zowel training als inferentie.
OpenAI gebruikte de openbare InferenceX-benchmark en testte drie modellen: GPT-OSS 120B, DeepSeek R1 670B en Kimi K2.5 1T. NVIDIA’s GB200 en GB300 werden als vergelijkingssystemen gebruikt.
Met GPT-OSS 120B behaalde Jalapeño een piekdoorvoer van 85.448 invoer- en uitvoertokens per seconde per kilowatt, tegenover 44.960 voor de GB200. Daarmee heeft Jalapeño een voordeel van ongeveer 1,9 keer. De end-to-end-querylatentie bedroeg respectievelijk 1,03 seconden tegenover 1,80 seconden.
DeepSeek R1 liet een nog groter verschil in latentie zien. Jalapeño voltooide de query in 1,65 seconden, terwijl de GB300 5,99 seconden nodig had. De piekdoorvoer per eenheid vermogen bereikte 19.641 invoer- en uitvoertokens per seconde per kilowatt op Jalapeño en 11.781 op de GB300. Met Kimi K2.5 mat OpenAI voor Jalapeño ongeveer 1,5 keer hogere piekdoorvoer per eenheid vermogen en 3,4 keer lagere totale latentie.
Dit zijn OpenAI’s eigen metingen, geen resultaten van een onafhankelijk laboratorium. De cijfers voor energie-efficiëntie moeten ook worden gelezen in de context van de methodologie. OpenAI normaliseerde de resultaten met behulp van het gepubliceerde nominale vermogen van de accelerators, in plaats van het werkelijke stroomverbruik van elk concurrerend systeem onder identieke omstandigheden te meten.
De chip van 700 W verbruikte in tests niet meer dan 550 W
Jalapeño heeft een nominaal vermogen van 700 W. Volgens OpenAI bleef het werkelijke stroomverbruik bij de geteste workloads op of onder 550 W. Voor zijn berekeningen gebruikte het bedrijf NVIDIA’s gepubliceerde nominale vermogen van 1.200 W voor de GB200 en 1.400 W voor de GB300.
De hoeveelheid geleverd werk per eenheid vermogen wordt steeds belangrijker in grote AI-datacenters. Elektrische capaciteit, koeling en netaansluitingen kunnen de groei van serverparken net zo sterk beperken als de beschikbaarheid van chips. Als met elke kilowatt meer queries kunnen worden verwerkt, dalen de infrastructuurkosten per gegenereerd token of gebruikersverzoek.
De architectuur van Jalapeño is ontworpen rond de verschillende fasen van taalmodelinferentie. De initiële verwerking van invoer, of prefill, is vooral rekenintensief. Het token voor token genereren van het antwoord, of decode, is sterker afhankelijk van geheugenbandbreedte. Ook het verplaatsen van data en modelstatus tussen chips en rekeneenheden kost tijd.
OpenAI ontwierp de processor, het geheugen, de netwerkinfrastructuur en de software als één geïntegreerd systeem om onnodige dataverplaatsing te verminderen. De architectuur maakt het onder meer mogelijk dat de tijdens het genereren van antwoorden gebruikte KV-cache zo lokaal mogelijk blijft.
AI hielp bij het ontwerpen van de chip zelf
AI speelde een directe rol bij de ontwikkeling van Jalapeño. Volgens OpenAI ging het team in negen maanden van het eerste ontwerp naar tape-out. AI werd gebruikt om implementatieopties te verkennen, rekenblokken te optimaliseren en verificatie- en meetcycli te versnellen.
Het team gebruikte later Codex samen met GPT-Astra om de chip te optimaliseren voor drie open-weight-modellen die geen deel uitmaakten van het oorspronkelijke productieplan. Het werk duurde twee maanden. In geselecteerde GPT-OSS-attentie- en mixture-of-experts-blokken draaiden door AI gegenereerde implementaties 1,5-1,8 keer sneller dan de eerdere door experts geschreven versies.
Er is een belangrijke kanttekening: die prestatiewinst geldt voor geselecteerde rekenblokken, niet voor het GPT-OSS-model als geheel.
Het probleem van NVIDIA is nog niet Jalapeño, maar de trend erachter
Een enkele gespecialiseerde chip zal de markt voor AI-hardware niet van de ene op de andere dag hervormen. NVIDIA’s voordeel ligt niet alleen in de ruwe rekenprestaties van de GB200 of GB300, maar ook in het CUDA-software-ecosysteem, netwerken, serverarchitectuur en de mogelijkheid om hetzelfde platform te gebruiken voor een breed scala aan modellen en workloads.
De betekenis van Jalapeño ligt elders. OpenAI weet precies welke workloads zijn eigen diensten genereren en kan hardware daarop optimaliseren. Google, Amazon en andere grote cloudbedrijven volgen al jaren dezelfde logica. De komst van OpenAI op de markt met een eigen chip vergroot de druk om AI-rekenkracht goedkoper en energiezuiniger te maken.
OpenAI is van plan Jalapeño tegen het einde van 2026 in zijn eigen rekeninfrastructuur in te zetten. Een chip van de tweede generatie is al vergevorderd in ontwikkeling, terwijl de architectuur van een derde generatie vorm begint te krijgen.
Energie-efficiëntie is bijzonder belangrijk voor Europa. De groei van AI-datacenters betekent directe concurrentie om elektrische capaciteit en netaansluitingen. Als gespecialiseerde inferentiechips werkelijk aanzienlijk meer nuttig werk per kilowatt kunnen leveren, kan hun economische impact belangrijker blijken dan welke afzonderlijke benchmarkoverwinning op NVIDIA dan ook.
