OpenAI’s første egenudviklede chip overgår NVIDIA på hastighed og energieffektivitet
OpenAI har offentliggjort de første detaljerede ydelsestal for Jalapeño, virksomhedens første chip, der er designet specifikt til AI-inferens. I virksomhedens egne tests på tværs af tre store sprogmodeller leverede chippen 1,5-1,9 gange højere maksimal throughput pr. effektenhed og 1,7-3,6 gange lavere end-to-end-forespørgselslatenstid end de NVIDIA GB200- og GB300-systemer, der blev brugt til sammenligning. Det betyder ikke, at NVIDIA er blevet afsat, men det viser, hvorfor de største AI-virksomheder i stigende grad ønsker at designe mere af deres egen hardware.
Jalapeño konkurrerer ikke med træningschips
Dette er OpenAI’s første egenudviklede inferenschip, hvilket betyder, at den primært er optimeret til at køre modeller, der allerede er trænet, frem for at træne nye store modeller fra bunden. Virksomheden vil fortsat bruge acceleratorer fra NVIDIA og andre partnere til både træning og inferens.
OpenAI brugte det offentlige InferenceX-benchmark og testede tre modeller: GPT-OSS 120B, DeepSeek R1 670B og Kimi K2.5 1T. NVIDIA’s GB200 og GB300 blev brugt som sammenligningssystemer.
Med GPT-OSS 120B opnåede Jalapeño en maksimal throughput på 85.448 input- og outputtokens pr. sekund pr. kilowatt sammenlignet med 44.960 for GB200. Det giver Jalapeño en fordel på omkring 1,9 gange. End-to-end-forespørgselslatenstiden var henholdsvis 1,03 sekunder mod 1,80 sekunder.
DeepSeek R1 gav et endnu større latenstidsgab. Jalapeño fuldførte forespørgslen på 1,65 sekunder, mens GB300 krævede 5,99 sekunder. Maksimal throughput pr. effektenhed nåede 19.641 input- og outputtokens pr. sekund pr. kilowatt på Jalapeño og 11.781 på GB300. Med Kimi K2.5 målte OpenAI omkring 1,5 gange højere maksimal throughput pr. effektenhed og 3,4 gange lavere samlet latenstid for Jalapeño.
Dette er OpenAI’s egne målinger, ikke resultater fra et uafhængigt laboratorium. Tallene for energieffektivitet skal også læses i sammenhæng med metoden. OpenAI normaliserede resultaterne ved hjælp af acceleratorernes offentliggjorte nominelle effekt frem for at måle det faktiske strømforbrug for hvert konkurrerende system under identiske forhold.
700 W-chippen trak højst 550 W under test
Jalapeño har en nominel effekt på 700 W. Ifølge OpenAI forblev det faktiske strømforbrug på 550 W eller derunder i de testede arbejdsbelastninger. Til sine beregninger brugte virksomheden NVIDIA’s offentliggjorte nominelle effekt på 1.200 W for GB200 og 1.400 W for GB300.
Arbejdet leveret pr. effektenhed bliver stadig vigtigere i store AI-datacentre. Elektrisk kapacitet, køling og nettilslutninger kan begrænse væksten i serverfarme lige så meget som chiptilgængelighed. Hvis der kan håndteres flere forespørgsler pr. kilowatt, falder infrastrukturomkostningen pr. genereret token eller brugerforespørgsel.
Jalapeño’s arkitektur er designet omkring de forskellige faser i sprogmodel-inferens. Den indledende behandling af input, eller prefill, er primært beregningsintensiv. Generering af svaret token for token, eller decode, afhænger i højere grad af hukommelsesbåndbredde. Der bruges også tid på at flytte data og modeltilstand mellem chips og beregningsenheder.
OpenAI designede processoren, hukommelsen, netværket og softwaren som ét integreret system for at reducere unødvendig dataflytning. Blandt andet gør arkitekturen det muligt, at KV-cachen, der bruges under genereringen af svar, forbliver så lokal som muligt.
AI hjalp med at designe selve chippen
AI spillede en direkte rolle i udviklingen af Jalapeño. Ifølge OpenAI gik teamet fra det indledende design til tape-out på ni måneder. AI blev brugt til at undersøge implementeringsmuligheder, optimere aritmetiske blokke og accelerere verificerings- og målecyklusser.
Teamet brugte senere Codex sammen med GPT-Astra til at optimere chippen til tre modeller med åbne vægte, som ikke var en del af den oprindelige produktionsplan. Arbejdet tog to måneder. I udvalgte GPT-OSS-opmærksomheds- og mixture-of-experts-blokke kørte AI-genererede implementeringer 1,5-1,8 gange hurtigere end de tidligere versioner skrevet af eksperter.
Der er et vigtigt forbehold: Denne ydelsesforbedring gælder udvalgte beregningsblokke, ikke GPT-OSS-modellen som helhed.
NVIDIA’s problem er endnu ikke Jalapeño, men tendensen bag den
En enkelt specialiseret chip vil ikke omforme AI-hardwaremarkedet fra den ene dag til den anden. NVIDIA’s fordel ligger ikke kun i den rå beregningsydelse fra GB200 eller GB300, men også i CUDA-softwareøkosystemet, netværk, serverarkitektur og evnen til at bruge den samme platform på tværs af en bred vifte af modeller og arbejdsbelastninger.
Betydningen af Jalapeño ligger et andet sted. OpenAI ved præcis, hvilke arbejdsbelastninger virksomhedens egne tjenester genererer, og kan optimere hardware omkring dem. Google, Amazon og andre store cloudvirksomheder har fulgt den samme logik i årevis. OpenAI’s indtræden på markedet med sin egen chip lægger yderligere pres på for at gøre AI-beregning billigere og mere energieffektiv.
OpenAI planlægger at implementere Jalapeño i sin egen beregningsinfrastruktur inden udgangen af 2026. En chip i anden generation er allerede langt inde i udviklingen, mens arkitekturen for en tredje generation tager form.
Energieffektivitet er særligt vigtig for Europa. Væksten i AI-datacentre betyder direkte konkurrence om elektrisk kapacitet og nettilslutninger. Hvis specialiserede inferenschips reelt kan levere væsentligt mere nyttigt arbejde pr. kilowatt, kan deres økonomiske betydning vise sig at være vigtigere end enhver enkelt benchmarksejr over NVIDIA.
Jalapeño konkurrerer ikke med træningschips
Dette er OpenAI’s første egenudviklede inferenschip, hvilket betyder, at den primært er optimeret til at køre modeller, der allerede er trænet, frem for at træne nye store modeller fra bunden. Virksomheden vil fortsat bruge acceleratorer fra NVIDIA og andre partnere til både træning og inferens.
OpenAI brugte det offentlige InferenceX-benchmark og testede tre modeller: GPT-OSS 120B, DeepSeek R1 670B og Kimi K2.5 1T. NVIDIA’s GB200 og GB300 blev brugt som sammenligningssystemer.
Med GPT-OSS 120B opnåede Jalapeño en maksimal throughput på 85.448 input- og outputtokens pr. sekund pr. kilowatt sammenlignet med 44.960 for GB200. Det giver Jalapeño en fordel på omkring 1,9 gange. End-to-end-forespørgselslatenstiden var henholdsvis 1,03 sekunder mod 1,80 sekunder.
DeepSeek R1 gav et endnu større latenstidsgab. Jalapeño fuldførte forespørgslen på 1,65 sekunder, mens GB300 krævede 5,99 sekunder. Maksimal throughput pr. effektenhed nåede 19.641 input- og outputtokens pr. sekund pr. kilowatt på Jalapeño og 11.781 på GB300. Med Kimi K2.5 målte OpenAI omkring 1,5 gange højere maksimal throughput pr. effektenhed og 3,4 gange lavere samlet latenstid for Jalapeño.
Dette er OpenAI’s egne målinger, ikke resultater fra et uafhængigt laboratorium. Tallene for energieffektivitet skal også læses i sammenhæng med metoden. OpenAI normaliserede resultaterne ved hjælp af acceleratorernes offentliggjorte nominelle effekt frem for at måle det faktiske strømforbrug for hvert konkurrerende system under identiske forhold.
700 W-chippen trak højst 550 W under test
Jalapeño har en nominel effekt på 700 W. Ifølge OpenAI forblev det faktiske strømforbrug på 550 W eller derunder i de testede arbejdsbelastninger. Til sine beregninger brugte virksomheden NVIDIA’s offentliggjorte nominelle effekt på 1.200 W for GB200 og 1.400 W for GB300.
Arbejdet leveret pr. effektenhed bliver stadig vigtigere i store AI-datacentre. Elektrisk kapacitet, køling og nettilslutninger kan begrænse væksten i serverfarme lige så meget som chiptilgængelighed. Hvis der kan håndteres flere forespørgsler pr. kilowatt, falder infrastrukturomkostningen pr. genereret token eller brugerforespørgsel.
Jalapeño’s arkitektur er designet omkring de forskellige faser i sprogmodel-inferens. Den indledende behandling af input, eller prefill, er primært beregningsintensiv. Generering af svaret token for token, eller decode, afhænger i højere grad af hukommelsesbåndbredde. Der bruges også tid på at flytte data og modeltilstand mellem chips og beregningsenheder.
OpenAI designede processoren, hukommelsen, netværket og softwaren som ét integreret system for at reducere unødvendig dataflytning. Blandt andet gør arkitekturen det muligt, at KV-cachen, der bruges under genereringen af svar, forbliver så lokal som muligt.
AI hjalp med at designe selve chippen
AI spillede en direkte rolle i udviklingen af Jalapeño. Ifølge OpenAI gik teamet fra det indledende design til tape-out på ni måneder. AI blev brugt til at undersøge implementeringsmuligheder, optimere aritmetiske blokke og accelerere verificerings- og målecyklusser.
Teamet brugte senere Codex sammen med GPT-Astra til at optimere chippen til tre modeller med åbne vægte, som ikke var en del af den oprindelige produktionsplan. Arbejdet tog to måneder. I udvalgte GPT-OSS-opmærksomheds- og mixture-of-experts-blokke kørte AI-genererede implementeringer 1,5-1,8 gange hurtigere end de tidligere versioner skrevet af eksperter.
Der er et vigtigt forbehold: Denne ydelsesforbedring gælder udvalgte beregningsblokke, ikke GPT-OSS-modellen som helhed.
NVIDIA’s problem er endnu ikke Jalapeño, men tendensen bag den
En enkelt specialiseret chip vil ikke omforme AI-hardwaremarkedet fra den ene dag til den anden. NVIDIA’s fordel ligger ikke kun i den rå beregningsydelse fra GB200 eller GB300, men også i CUDA-softwareøkosystemet, netværk, serverarkitektur og evnen til at bruge den samme platform på tværs af en bred vifte af modeller og arbejdsbelastninger.
Betydningen af Jalapeño ligger et andet sted. OpenAI ved præcis, hvilke arbejdsbelastninger virksomhedens egne tjenester genererer, og kan optimere hardware omkring dem. Google, Amazon og andre store cloudvirksomheder har fulgt den samme logik i årevis. OpenAI’s indtræden på markedet med sin egen chip lægger yderligere pres på for at gøre AI-beregning billigere og mere energieffektiv.
OpenAI planlægger at implementere Jalapeño i sin egen beregningsinfrastruktur inden udgangen af 2026. En chip i anden generation er allerede langt inde i udviklingen, mens arkitekturen for en tredje generation tager form.
Energieffektivitet er særligt vigtig for Europa. Væksten i AI-datacentre betyder direkte konkurrence om elektrisk kapacitet og nettilslutninger. Hvis specialiserede inferenschips reelt kan levere væsentligt mere nyttigt arbejde pr. kilowatt, kan deres økonomiske betydning vise sig at være vigtigere end enhver enkelt benchmarksejr over NVIDIA.
