První vlastní čip OpenAI překonává NVIDIA v rychlosti a energetické účinnosti
OpenAI zveřejnila první podrobné údaje o výkonu Jalapeño, svého prvního čipu navrženého speciálně pro AI inferenci. Ve vlastních testech společnosti napříč třemi velkými jazykovými modely čip poskytl 1,5–1,9krát vyšší špičkovou propustnost na jednotku energie a 1,7–3,6krát nižší koncovou latenci dotazů než srovnávací systémy NVIDIA GB200 a GB300. Neznamená to, že NVIDIA byla sesazena z trůnu, ukazuje to však, proč největší AI společnosti stále více chtějí navrhovat více vlastního hardwaru.
Jalapeño nekonkuruje čipům pro trénování
Jde o první vlastní inferenční čip OpenAI, což znamená, že byl optimalizován především pro provoz již natrénovaných modelů, nikoli pro trénování nových velkých modelů od nuly. Společnost bude pro trénování i inferenci nadále používat akcelerátory od NVIDIA a dalších partnerů.
OpenAI použila veřejný benchmark InferenceX a testovala tři modely: GPT-OSS 120B, DeepSeek R1 670B a Kimi K2.5 1T. Jako srovnávací systémy byly použity NVIDIA GB200 a GB300.
U GPT-OSS 120B dosáhlo Jalapeño špičkové propustnosti 85 448 vstupních a výstupních tokenů za sekundu na kilowatt, oproti 44 960 u GB200. Jalapeño tak získává výhodu zhruba 1,9krát. Koncová latence dotazu činila 1,03 sekundy oproti 1,80 sekundy.
DeepSeek R1 přinesl ještě větší rozdíl v latenci. Jalapeño dokončilo dotaz za 1,65 sekundy, zatímco GB300 potřeboval 5,99 sekundy. Špičková propustnost na jednotku energie dosáhla u Jalapeño 19 641 vstupních a výstupních tokenů za sekundu na kilowatt a u GB300 11 781. U Kimi K2.5 naměřila OpenAI pro Jalapeño zhruba 1,5krát vyšší špičkovou propustnost na jednotku energie a 3,4krát nižší celkovou latenci.
Jde o vlastní měření OpenAI, nikoli o výsledky nezávislé laboratoře. Údaje o energetické účinnosti je rovněž třeba číst v kontextu metodiky. OpenAI výsledky normalizovala s využitím zveřejněného jmenovitého příkonu akcelerátorů, namísto měření skutečné spotřeby energie každého konkurenčního systému za totožných podmínek.
Čip s příkonem 700 W v testech neodebíral více než 550 W
Jalapeño má jmenovitý příkon 700 W. Podle OpenAI zůstala skutečná spotřeba energie při testovaných pracovních zátěžích na úrovni 550 W nebo nižší. Pro své výpočty společnost použila zveřejněný jmenovitý příkon NVIDIA ve výši 1 200 W pro GB200 a 1 400 W pro GB300.
Práce vykonaná na jednotku energie získává ve velkých AI datových centrech stále větší význam. Elektrická kapacita, chlazení a připojení k síti mohou růst serverových farem omezovat stejně jako dostupnost čipů. Pokud lze z každého kilowattu obsloužit více dotazů, klesají náklady na infrastrukturu na vygenerovaný token či uživatelský požadavek.
Architektura Jalapeño je navržena s ohledem na různé fáze inference jazykových modelů. Počáteční zpracování vstupu neboli prefill je především výpočetně náročné. Generování odpovědi token po tokenu neboli decode závisí více na propustnosti paměti. Čas rovněž spotřebovává přesun dat a stavu modelu mezi čipy a výpočetními jednotkami.
OpenAI navrhla procesor, paměť, síťové propojení a software jako jeden integrovaný systém, aby omezila zbytečný pohyb dat. Architektura mimo jiné umožňuje, aby KV cache používaná při generování odpovědi zůstávala co nejvíce lokální.
AI pomohla navrhnout samotný čip
AI hrála v přímou roli při vývoji Jalapeño. Podle OpenAI tým přešel od počátečního návrhu k tape-outu za devět měsíců. AI byla použita k průzkumu možností implementace, optimalizaci aritmetických bloků a urychlení cyklů ověřování a měření.
Tým později použil Codex společně s GPT-Astra k optimalizaci čipu pro tři modely s otevřenými vahami, které nebyly součástí původního produkčního plánu. Práce trvala dva měsíce. Ve vybraných blocích attention a mixture-of-experts modelu GPT-OSS běžely implementace vygenerované AI 1,5–1,8krát rychleji než dřívější verze napsané experty.
Existuje zde důležitá výhrada: toto zvýšení výkonu se týká vybraných výpočetních bloků, nikoli modelu GPT-OSS jako celku.
Problémem NVIDIA zatím není Jalapeño, ale trend, který za ním stojí
Jediný specializovaný čip přes noc nezmění trh s AI hardwarem. Výhoda NVIDIA nespočívá jen v hrubém výpočetním výkonu GB200 nebo GB300, ale také v softwarovém ekosystému CUDA, síťovém propojení, serverové architektuře a schopnosti používat stejnou platformu napříč širokou škálou modelů a pracovních zátěží.
Význam Jalapeño spočívá jinde. OpenAI přesně ví, jaké pracovní zátěže vytvářejí její vlastní služby, a může kolem nich optimalizovat hardware. Google, Amazon a další velké cloudové společnosti se stejnou logikou řídí již roky. Vstup OpenAI na trh s vlastním čipem přidává další tlak na zlevnění a zvýšení energetické účinnosti AI výpočtů.
OpenAI plánuje nasadit Jalapeño ve vlastní výpočetní infrastruktuře do konce roku 2026. Čip druhé generace již je v pokročilé fázi vývoje, zatímco architektura třetí generace se začíná rýsovat.
Energetická účinnost je zvlášť důležitá pro Evropu. Růst AI datových center znamená přímou konkurenci o elektrickou kapacitu a připojení k síti. Pokud specializované inferenční čipy dokážou skutečně poskytovat podstatně více užitečné práce na kilowatt, jejich ekonomický dopad by se mohl ukázat důležitější než jakékoli jednotlivé benchmarkové vítězství nad NVIDIA.
Jalapeño nekonkuruje čipům pro trénování
Jde o první vlastní inferenční čip OpenAI, což znamená, že byl optimalizován především pro provoz již natrénovaných modelů, nikoli pro trénování nových velkých modelů od nuly. Společnost bude pro trénování i inferenci nadále používat akcelerátory od NVIDIA a dalších partnerů.
OpenAI použila veřejný benchmark InferenceX a testovala tři modely: GPT-OSS 120B, DeepSeek R1 670B a Kimi K2.5 1T. Jako srovnávací systémy byly použity NVIDIA GB200 a GB300.
U GPT-OSS 120B dosáhlo Jalapeño špičkové propustnosti 85 448 vstupních a výstupních tokenů za sekundu na kilowatt, oproti 44 960 u GB200. Jalapeño tak získává výhodu zhruba 1,9krát. Koncová latence dotazu činila 1,03 sekundy oproti 1,80 sekundy.
DeepSeek R1 přinesl ještě větší rozdíl v latenci. Jalapeño dokončilo dotaz za 1,65 sekundy, zatímco GB300 potřeboval 5,99 sekundy. Špičková propustnost na jednotku energie dosáhla u Jalapeño 19 641 vstupních a výstupních tokenů za sekundu na kilowatt a u GB300 11 781. U Kimi K2.5 naměřila OpenAI pro Jalapeño zhruba 1,5krát vyšší špičkovou propustnost na jednotku energie a 3,4krát nižší celkovou latenci.
Jde o vlastní měření OpenAI, nikoli o výsledky nezávislé laboratoře. Údaje o energetické účinnosti je rovněž třeba číst v kontextu metodiky. OpenAI výsledky normalizovala s využitím zveřejněného jmenovitého příkonu akcelerátorů, namísto měření skutečné spotřeby energie každého konkurenčního systému za totožných podmínek.
Čip s příkonem 700 W v testech neodebíral více než 550 W
Jalapeño má jmenovitý příkon 700 W. Podle OpenAI zůstala skutečná spotřeba energie při testovaných pracovních zátěžích na úrovni 550 W nebo nižší. Pro své výpočty společnost použila zveřejněný jmenovitý příkon NVIDIA ve výši 1 200 W pro GB200 a 1 400 W pro GB300.
Práce vykonaná na jednotku energie získává ve velkých AI datových centrech stále větší význam. Elektrická kapacita, chlazení a připojení k síti mohou růst serverových farem omezovat stejně jako dostupnost čipů. Pokud lze z každého kilowattu obsloužit více dotazů, klesají náklady na infrastrukturu na vygenerovaný token či uživatelský požadavek.
Architektura Jalapeño je navržena s ohledem na různé fáze inference jazykových modelů. Počáteční zpracování vstupu neboli prefill je především výpočetně náročné. Generování odpovědi token po tokenu neboli decode závisí více na propustnosti paměti. Čas rovněž spotřebovává přesun dat a stavu modelu mezi čipy a výpočetními jednotkami.
OpenAI navrhla procesor, paměť, síťové propojení a software jako jeden integrovaný systém, aby omezila zbytečný pohyb dat. Architektura mimo jiné umožňuje, aby KV cache používaná při generování odpovědi zůstávala co nejvíce lokální.
AI pomohla navrhnout samotný čip
AI hrála v přímou roli při vývoji Jalapeño. Podle OpenAI tým přešel od počátečního návrhu k tape-outu za devět měsíců. AI byla použita k průzkumu možností implementace, optimalizaci aritmetických bloků a urychlení cyklů ověřování a měření.
Tým později použil Codex společně s GPT-Astra k optimalizaci čipu pro tři modely s otevřenými vahami, které nebyly součástí původního produkčního plánu. Práce trvala dva měsíce. Ve vybraných blocích attention a mixture-of-experts modelu GPT-OSS běžely implementace vygenerované AI 1,5–1,8krát rychleji než dřívější verze napsané experty.
Existuje zde důležitá výhrada: toto zvýšení výkonu se týká vybraných výpočetních bloků, nikoli modelu GPT-OSS jako celku.
Problémem NVIDIA zatím není Jalapeño, ale trend, který za ním stojí
Jediný specializovaný čip přes noc nezmění trh s AI hardwarem. Výhoda NVIDIA nespočívá jen v hrubém výpočetním výkonu GB200 nebo GB300, ale také v softwarovém ekosystému CUDA, síťovém propojení, serverové architektuře a schopnosti používat stejnou platformu napříč širokou škálou modelů a pracovních zátěží.
Význam Jalapeño spočívá jinde. OpenAI přesně ví, jaké pracovní zátěže vytvářejí její vlastní služby, a může kolem nich optimalizovat hardware. Google, Amazon a další velké cloudové společnosti se stejnou logikou řídí již roky. Vstup OpenAI na trh s vlastním čipem přidává další tlak na zlevnění a zvýšení energetické účinnosti AI výpočtů.
OpenAI plánuje nasadit Jalapeño ve vlastní výpočetní infrastruktuře do konce roku 2026. Čip druhé generace již je v pokročilé fázi vývoje, zatímco architektura třetí generace se začíná rýsovat.
Energetická účinnost je zvlášť důležitá pro Evropu. Růst AI datových center znamená přímou konkurenci o elektrickou kapacitu a připojení k síti. Pokud specializované inferenční čipy dokážou skutečně poskytovat podstatně více užitečné práce na kilowatt, jejich ekonomický dopad by se mohl ukázat důležitější než jakékoli jednotlivé benchmarkové vítězství nad NVIDIA.
