OpenAI-jev prvi sopstveni čip nadmašuje NVIDIA-u u brzini i energetskoj efikasnosti
OpenAI je objavio prve detaljne podatke o performansama Jalapeña, svog prvog čipa dizajniranog posebno za AI inferenciju. U sopstvenim testovima kompanije na tri velika jezička modela, čip je pružio 1,5–1,9 puta veći vršni protok po jedinici snage i 1,7–3,6 puta manju end-to-end latenciju upita od NVIDIA GB200 i GB300 sistema korišćenih za poređenje. To ne znači da je NVIDIA zbačena s trona, ali pokazuje zašto najveće AI kompanije sve više žele da projektuju veći deo sopstvenog hardvera.
Jalapeño se ne takmiči sa čipovima za obuku
Ovo je prvi OpenAI-jev sopstveni čip za inferenciju, što znači da je optimizovan prvenstveno za pokretanje modela koji su već obučeni, a ne za obuku novih velikih modela od nule. Kompanija će nastaviti da koristi akceleratore kompanije NVIDIA i drugih partnera i za obuku i za inferenciju.
OpenAI je koristio javni benchmark InferenceX i testirao tri modela: GPT-OSS 120B, DeepSeek R1 670B i Kimi K2.5 1T. NVIDIA GB200 i GB300 korišćeni su kao sistemi za poređenje.
Sa GPT-OSS 120B, Jalapeño je ostvario vršni protok od 85.448 ulaznih i izlaznih tokena u sekundi po kilovatu, u poređenju sa 44.960 kod GB200. To Jalapeñu daje prednost od približno 1,9 puta. End-to-end latencija upita iznosila je 1,03 sekunde naspram 1,80 sekundi.
DeepSeek R1 je pokazao još veći jaz u latenciji. Jalapeño je završio upit za 1,65 sekundi, dok je GB300 zahtevao 5,99 sekundi. Vršni protok po jedinici snage dostigao je 19.641 ulaznih i izlaznih tokena u sekundi po kilovatu na Jalapeñu i 11.781 na GB300. Sa modelom Kimi K2.5, OpenAI je izmerio približno 1,5 puta veći vršni protok po jedinici snage i 3,4 puta manju ukupnu latenciju za Jalapeño.
Ovo su sopstvena merenja kompanije OpenAI, a ne rezultati nezavisne laboratorije. Brojke o energetskoj efikasnosti takođe treba posmatrati u kontekstu metodologije. OpenAI je normalizovao rezultate koristeći objavljenu nazivnu snagu akceleratora, umesto da meri stvarnu potrošnju energije svakog konkurentskog sistema u identičnim uslovima.
Čip od 700 W tokom testiranja nije trošio više od 550 W
Jalapeño ima nazivnu snagu od 700 W. Prema navodima OpenAI-ja, stvarna potrošnja energije ostala je na 550 W ili niže u testiranim radnim opterećenjima. Za svoje proračune, kompanija je koristila NVIDIA-inu objavljenu nazivnu snagu od 1.200 W za GB200 i 1.400 W za GB300.
Količina rada isporučena po jedinici snage postaje sve važnija u velikim AI data centrima. Električni kapacitet, hlađenje i priključci na mrežu mogu ograničiti rast serverskih farmi jednako kao i dostupnost čipova. Ako se iz svakog kilovata može obraditi više upita, trošak infrastrukture po generisanom tokenu ili korisničkom zahtevu opada.
Arhitektura Jalapeña projektovana je oko različitih faza inference jezičkog modela. Početna obrada ulaza, odnosno prefill, prvenstveno je računarski intenzivna. Generisanje odgovora token po token, odnosno decode, više zavisi od propusnog opsega memorije. Vreme se takođe troši na premeštanje podataka i stanja modela između čipova i računarskih jedinica.
OpenAI je projektovao procesor, memoriju, umrežavanje i softver kao jedinstven integrisani sistem kako bi smanjio nepotrebno premeštanje podataka. Između ostalog, arhitektura omogućava da KV keš korišćen tokom generisanja odgovora ostane što lokalniji.
AI je pomogao i u projektovanju samog čipa
AI je imao direktnu ulogu u razvoju Jalapeña. Prema navodima OpenAI-ja, tim je od početnog dizajna do tape-outa stigao za devet meseci. AI je korišćen za istraživanje mogućnosti implementacije, optimizaciju aritmetičkih blokova i ubrzavanje ciklusa verifikacije i merenja.
Tim je kasnije koristio Codex zajedno sa GPT-Astra za optimizaciju čipa za tri modela sa otvorenim težinama koji nisu bili deo prvobitnog plana proizvodnje. Rad je trajao dva meseca. U odabranim GPT-OSS blokovima pažnje i mixture-of-experts, implementacije koje je generisao AI radile su 1,5–1,8 puta brže od ranijih verzija koje su napisali stručnjaci.
Postoji važno ograničenje: to povećanje performansi odnosi se na odabrane računarske blokove, a ne na GPT-OSS model u celini.
Problem kompanije NVIDIA još nije Jalapeño, već trend koji stoji iza njega
Jedan specijalizovani čip neće preko noći preoblikovati tržište AI hardvera. Prednost kompanije NVIDIA ne leži samo u sirovim računarskim performansama GB200 ili GB300, već i u softverskom ekosistemu CUDA, umrežavanju, serverskoj arhitekturi i mogućnosti korišćenja iste platforme za širok spektar modela i radnih opterećenja.
Značaj Jalapeña je na drugom mestu. OpenAI tačno zna kakva radna opterećenja stvaraju njegove sopstvene usluge i može da optimizuje hardver za njih. Google, Amazon i druge velike cloud kompanije godinama slede istu logiku. Ulazak OpenAI-ja na tržište sa sopstvenim čipom dodatno povećava pritisak da AI računarstvo postane jeftinije i energetski efikasnije.
OpenAI planira da do kraja 2026. godine implementira Jalapeño u sopstvenu računarsku infrastrukturu. Čip druge generacije već je u poodmaklom razvoju, dok se arhitektura treće generacije već oblikuje.
Energetska efikasnost je posebno važna za Evropu. Rast AI data centara znači direktnu konkurenciju za električni kapacitet i priključke na mrežu. Ako specijalizovani čipovi za inferenciju zaista mogu da isporuče znatno više korisnog rada po kilovatu, njihov ekonomski uticaj mogao bi se pokazati važnijim od bilo koje pojedinačne pobede nad NVIDIA-om u benchmark testu.
Jalapeño se ne takmiči sa čipovima za obuku
Ovo je prvi OpenAI-jev sopstveni čip za inferenciju, što znači da je optimizovan prvenstveno za pokretanje modela koji su već obučeni, a ne za obuku novih velikih modela od nule. Kompanija će nastaviti da koristi akceleratore kompanije NVIDIA i drugih partnera i za obuku i za inferenciju.
OpenAI je koristio javni benchmark InferenceX i testirao tri modela: GPT-OSS 120B, DeepSeek R1 670B i Kimi K2.5 1T. NVIDIA GB200 i GB300 korišćeni su kao sistemi za poređenje.
Sa GPT-OSS 120B, Jalapeño je ostvario vršni protok od 85.448 ulaznih i izlaznih tokena u sekundi po kilovatu, u poređenju sa 44.960 kod GB200. To Jalapeñu daje prednost od približno 1,9 puta. End-to-end latencija upita iznosila je 1,03 sekunde naspram 1,80 sekundi.
DeepSeek R1 je pokazao još veći jaz u latenciji. Jalapeño je završio upit za 1,65 sekundi, dok je GB300 zahtevao 5,99 sekundi. Vršni protok po jedinici snage dostigao je 19.641 ulaznih i izlaznih tokena u sekundi po kilovatu na Jalapeñu i 11.781 na GB300. Sa modelom Kimi K2.5, OpenAI je izmerio približno 1,5 puta veći vršni protok po jedinici snage i 3,4 puta manju ukupnu latenciju za Jalapeño.
Ovo su sopstvena merenja kompanije OpenAI, a ne rezultati nezavisne laboratorije. Brojke o energetskoj efikasnosti takođe treba posmatrati u kontekstu metodologije. OpenAI je normalizovao rezultate koristeći objavljenu nazivnu snagu akceleratora, umesto da meri stvarnu potrošnju energije svakog konkurentskog sistema u identičnim uslovima.
Čip od 700 W tokom testiranja nije trošio više od 550 W
Jalapeño ima nazivnu snagu od 700 W. Prema navodima OpenAI-ja, stvarna potrošnja energije ostala je na 550 W ili niže u testiranim radnim opterećenjima. Za svoje proračune, kompanija je koristila NVIDIA-inu objavljenu nazivnu snagu od 1.200 W za GB200 i 1.400 W za GB300.
Količina rada isporučena po jedinici snage postaje sve važnija u velikim AI data centrima. Električni kapacitet, hlađenje i priključci na mrežu mogu ograničiti rast serverskih farmi jednako kao i dostupnost čipova. Ako se iz svakog kilovata može obraditi više upita, trošak infrastrukture po generisanom tokenu ili korisničkom zahtevu opada.
Arhitektura Jalapeña projektovana je oko različitih faza inference jezičkog modela. Početna obrada ulaza, odnosno prefill, prvenstveno je računarski intenzivna. Generisanje odgovora token po token, odnosno decode, više zavisi od propusnog opsega memorije. Vreme se takođe troši na premeštanje podataka i stanja modela između čipova i računarskih jedinica.
OpenAI je projektovao procesor, memoriju, umrežavanje i softver kao jedinstven integrisani sistem kako bi smanjio nepotrebno premeštanje podataka. Između ostalog, arhitektura omogućava da KV keš korišćen tokom generisanja odgovora ostane što lokalniji.
AI je pomogao i u projektovanju samog čipa
AI je imao direktnu ulogu u razvoju Jalapeña. Prema navodima OpenAI-ja, tim je od početnog dizajna do tape-outa stigao za devet meseci. AI je korišćen za istraživanje mogućnosti implementacije, optimizaciju aritmetičkih blokova i ubrzavanje ciklusa verifikacije i merenja.
Tim je kasnije koristio Codex zajedno sa GPT-Astra za optimizaciju čipa za tri modela sa otvorenim težinama koji nisu bili deo prvobitnog plana proizvodnje. Rad je trajao dva meseca. U odabranim GPT-OSS blokovima pažnje i mixture-of-experts, implementacije koje je generisao AI radile su 1,5–1,8 puta brže od ranijih verzija koje su napisali stručnjaci.
Postoji važno ograničenje: to povećanje performansi odnosi se na odabrane računarske blokove, a ne na GPT-OSS model u celini.
Problem kompanije NVIDIA još nije Jalapeño, već trend koji stoji iza njega
Jedan specijalizovani čip neće preko noći preoblikovati tržište AI hardvera. Prednost kompanije NVIDIA ne leži samo u sirovim računarskim performansama GB200 ili GB300, već i u softverskom ekosistemu CUDA, umrežavanju, serverskoj arhitekturi i mogućnosti korišćenja iste platforme za širok spektar modela i radnih opterećenja.
Značaj Jalapeña je na drugom mestu. OpenAI tačno zna kakva radna opterećenja stvaraju njegove sopstvene usluge i može da optimizuje hardver za njih. Google, Amazon i druge velike cloud kompanije godinama slede istu logiku. Ulazak OpenAI-ja na tržište sa sopstvenim čipom dodatno povećava pritisak da AI računarstvo postane jeftinije i energetski efikasnije.
OpenAI planira da do kraja 2026. godine implementira Jalapeño u sopstvenu računarsku infrastrukturu. Čip druge generacije već je u poodmaklom razvoju, dok se arhitektura treće generacije već oblikuje.
Energetska efikasnost je posebno važna za Evropu. Rast AI data centara znači direktnu konkurenciju za električni kapacitet i priključke na mrežu. Ako specijalizovani čipovi za inferenciju zaista mogu da isporuče znatno više korisnog rada po kilovatu, njihov ekonomski uticaj mogao bi se pokazati važnijim od bilo koje pojedinačne pobede nad NVIDIA-om u benchmark testu.
