Az OpenAI első saját fejlesztésű chipje sebességben és energiahatékonyságban is felülmúlja az NVIDIA-t
Az OpenAI közzétette a Jalapeño, az első kifejezetten MI-inferenciára tervezett chipjének első részletes teljesítményadatait. A vállalat saját, három nagy nyelvi modellen végzett tesztjei szerint a chip egységnyi teljesítményre vetítve 1,5–1,9-szer nagyobb csúcsteljesítményt, valamint 1,7–3,6-szor alacsonyabb végponttól végpontig mért lekérdezési késleltetést nyújtott az összehasonlításként használt NVIDIA GB200 és GB300 rendszereknél. Ez nem jelenti azt, hogy az NVIDIA-t letaszították a trónról, de megmutatja, miért akarják a legnagyobb MI-vállalatok egyre inkább saját maguk tervezni a hardvereik nagyobb részét.
A Jalapeño nem a tanítóchipekkel versenyez
Ez az OpenAI első saját fejlesztésű inferenciachipje, ami azt jelenti, hogy elsősorban már betanított modellek futtatására optimalizálták, nem pedig új nagy modellek nulláról történő betanítására. A vállalat továbbra is az NVIDIA és más partnerek gyorsítóit fogja használni mind tanításhoz, mind inferenciához.
Az OpenAI a nyilvános InferenceX benchmarkot használta, és három modellt tesztelt: a GPT-OSS 120B-t, a DeepSeek R1 670B-t és a Kimi K2.5 1T-t. Összehasonlítási rendszerként az NVIDIA GB200 és GB300 szolgált.
A GPT-OSS 120B esetében a Jalapeño kilowattonként másodpercenként 85 448 bemeneti és kimeneti token csúcsteljesítményt ért el, szemben a GB200 44 960-as értékével. Ez nagyjából 1,9-szeres előnyt jelent a Jalapeño számára. A végponttól végpontig mért lekérdezési késleltetés rendre 1,03 másodperc, illetve 1,80 másodperc volt.
A DeepSeek R1 esetében még nagyobb késleltetési különbség adódott. A Jalapeño 1,65 másodperc alatt teljesítette a lekérdezést, míg a GB300-nak 5,99 másodpercre volt szüksége. Az egységnyi teljesítményre vetített csúcsteljesítmény a Jalapeñón kilowattonként másodpercenként 19 641 bemeneti és kimeneti tokent, a GB300-on pedig 11 781-et ért el. A Kimi K2.5 esetében az OpenAI a Jalapeñónál nagyjából 1,5-szer magasabb, egységnyi teljesítményre vetített csúcsteljesítményt és 3,4-szer alacsonyabb teljes késleltetést mért.
Ezek az OpenAI saját mérései, nem független laboratórium eredményei. Az energiahatékonysági adatokat a módszertan összefüggésében is értelmezni kell. Az OpenAI a gyorsítók közzétett névleges teljesítményével normalizálta az eredményeket, ahelyett, hogy azonos feltételek mellett minden versengő rendszer tényleges energiafogyasztását mérte volna.
A 700 W-os chip a tesztelés során legfeljebb 550 W-ot vett fel
A Jalapeño névleges teljesítménye 700 W. Az OpenAI szerint a tényleges energiafogyasztás a vizsgált munkaterhelések alatt 550 W vagy annál kevesebb maradt. Számításaihoz a vállalat az NVIDIA által a GB200-ra közzétett 1 200 W-os, valamint a GB300-ra közzétett 1 400 W-os névleges teljesítményt használta.
Az egységnyi teljesítményre jutó elvégzett munka egyre fontosabbá válik a nagy MI-adatközpontokban. Az elektromos kapacitás, a hűtés és a hálózati csatlakozások ugyanúgy korlátozhatják a szerverfarmok növekedését, mint a chipek elérhetősége. Ha minden kilowattból több lekérdezés szolgálható ki, csökken az infrastruktúra generált tokenre vagy felhasználói kérésre jutó költsége.
A Jalapeño architektúráját a nyelvimodell-inferencia különböző fázisai köré tervezték. A kezdeti bemenetfeldolgozás, vagyis a prefill, elsősorban számításigényes. A válasz tokenről tokenre történő előállítása, vagyis a decode, erősebben függ a memóriasávszélességtől. Időt igényel továbbá az adatok és a modellállapot chipek és számítási egységek közötti mozgatása is.
Az OpenAI a processzort, a memóriát, a hálózatot és a szoftvert egyetlen integrált rendszerként tervezte meg, hogy csökkentse a felesleges adatmozgatást. Az architektúra többek között lehetővé teszi, hogy a válaszgenerálás során használt KV cache a lehető leglokálisabb maradjon.
Az MI magának a chipnek a tervezésében is segített
Az MI közvetlen szerepet játszott a Jalapeño fejlesztésében. Az OpenAI szerint a csapat kilenc hónap alatt jutott el a kezdeti tervtől a tape-outig. Az MI-t megvalósítási lehetőségek feltárására, aritmetikai blokkok optimalizálására, valamint az ellenőrzési és mérési ciklusok felgyorsítására használták.
A csapat később a Codexet a GPT-Astrával együtt használta három olyan nyílt súlyú modellre való optimalizáláshoz, amelyek nem szerepeltek az eredeti gyártási tervben. A munka két hónapot vett igénybe. Kiválasztott GPT-OSS figyelmi és mixture-of-experts blokkokban az MI által generált megvalósítások 1,5–1,8-szor gyorsabban futottak, mint a korábbi, szakértők által írt verziók.
Van egy fontos fenntartás: ez a teljesítménynövekedés kiválasztott számítási blokkokra vonatkozik, nem a GPT-OSS modell egészére.
Az NVIDIA problémája még nem a Jalapeño, hanem a mögötte álló trend
Egyetlen specializált chip nem fogja egyik napról a másikra átalakítani az MI-hardverpiacot. Az NVIDIA előnye nem csupán a GB200 vagy GB300 nyers számítási teljesítményében rejlik, hanem a CUDA szoftveres ökoszisztémában, a hálózatban, a szerverarchitektúrában és abban a képességben is, hogy ugyanazt a platformot modellek és munkaterhelések széles körében lehet használni.
A Jalapeño jelentősége máshol rejlik. Az OpenAI pontosan tudja, milyen munkaterheléseket generálnak saját szolgáltatásai, és ezek köré optimalizálhatja a hardvert. A Google, az Amazon és más nagy felhővállalatok évek óta ugyanezt a logikát követik. Az OpenAI saját chippel való piacra lépése további nyomást gyakorol arra, hogy az MI-számítás olcsóbbá és energiahatékonyabbá váljon.
Az OpenAI tervei szerint 2026 végéig telepíti a Jalapeñót saját számítási infrastruktúrájában. A második generációs chip fejlesztése már előrehaladott szakaszban van, miközben egy harmadik generáció architektúrája is formálódik.
Az energiahatékonyság különösen fontos Európa számára. Az MI-adatközpontok növekedése közvetlen versenyt jelent az elektromos kapacitásért és a hálózati csatlakozásokért. Ha a specializált inferenciachipek valóban lényegesen több hasznos munkát tudnak végezni kilowattonként, gazdasági hatásuk fontosabbnak bizonyulhat bármely egyedi, NVIDIA feletti benchmarkgyőzelemnél.
A Jalapeño nem a tanítóchipekkel versenyez
Ez az OpenAI első saját fejlesztésű inferenciachipje, ami azt jelenti, hogy elsősorban már betanított modellek futtatására optimalizálták, nem pedig új nagy modellek nulláról történő betanítására. A vállalat továbbra is az NVIDIA és más partnerek gyorsítóit fogja használni mind tanításhoz, mind inferenciához.
Az OpenAI a nyilvános InferenceX benchmarkot használta, és három modellt tesztelt: a GPT-OSS 120B-t, a DeepSeek R1 670B-t és a Kimi K2.5 1T-t. Összehasonlítási rendszerként az NVIDIA GB200 és GB300 szolgált.
A GPT-OSS 120B esetében a Jalapeño kilowattonként másodpercenként 85 448 bemeneti és kimeneti token csúcsteljesítményt ért el, szemben a GB200 44 960-as értékével. Ez nagyjából 1,9-szeres előnyt jelent a Jalapeño számára. A végponttól végpontig mért lekérdezési késleltetés rendre 1,03 másodperc, illetve 1,80 másodperc volt.
A DeepSeek R1 esetében még nagyobb késleltetési különbség adódott. A Jalapeño 1,65 másodperc alatt teljesítette a lekérdezést, míg a GB300-nak 5,99 másodpercre volt szüksége. Az egységnyi teljesítményre vetített csúcsteljesítmény a Jalapeñón kilowattonként másodpercenként 19 641 bemeneti és kimeneti tokent, a GB300-on pedig 11 781-et ért el. A Kimi K2.5 esetében az OpenAI a Jalapeñónál nagyjából 1,5-szer magasabb, egységnyi teljesítményre vetített csúcsteljesítményt és 3,4-szer alacsonyabb teljes késleltetést mért.
Ezek az OpenAI saját mérései, nem független laboratórium eredményei. Az energiahatékonysági adatokat a módszertan összefüggésében is értelmezni kell. Az OpenAI a gyorsítók közzétett névleges teljesítményével normalizálta az eredményeket, ahelyett, hogy azonos feltételek mellett minden versengő rendszer tényleges energiafogyasztását mérte volna.
A 700 W-os chip a tesztelés során legfeljebb 550 W-ot vett fel
A Jalapeño névleges teljesítménye 700 W. Az OpenAI szerint a tényleges energiafogyasztás a vizsgált munkaterhelések alatt 550 W vagy annál kevesebb maradt. Számításaihoz a vállalat az NVIDIA által a GB200-ra közzétett 1 200 W-os, valamint a GB300-ra közzétett 1 400 W-os névleges teljesítményt használta.
Az egységnyi teljesítményre jutó elvégzett munka egyre fontosabbá válik a nagy MI-adatközpontokban. Az elektromos kapacitás, a hűtés és a hálózati csatlakozások ugyanúgy korlátozhatják a szerverfarmok növekedését, mint a chipek elérhetősége. Ha minden kilowattból több lekérdezés szolgálható ki, csökken az infrastruktúra generált tokenre vagy felhasználói kérésre jutó költsége.
A Jalapeño architektúráját a nyelvimodell-inferencia különböző fázisai köré tervezték. A kezdeti bemenetfeldolgozás, vagyis a prefill, elsősorban számításigényes. A válasz tokenről tokenre történő előállítása, vagyis a decode, erősebben függ a memóriasávszélességtől. Időt igényel továbbá az adatok és a modellállapot chipek és számítási egységek közötti mozgatása is.
Az OpenAI a processzort, a memóriát, a hálózatot és a szoftvert egyetlen integrált rendszerként tervezte meg, hogy csökkentse a felesleges adatmozgatást. Az architektúra többek között lehetővé teszi, hogy a válaszgenerálás során használt KV cache a lehető leglokálisabb maradjon.
Az MI magának a chipnek a tervezésében is segített
Az MI közvetlen szerepet játszott a Jalapeño fejlesztésében. Az OpenAI szerint a csapat kilenc hónap alatt jutott el a kezdeti tervtől a tape-outig. Az MI-t megvalósítási lehetőségek feltárására, aritmetikai blokkok optimalizálására, valamint az ellenőrzési és mérési ciklusok felgyorsítására használták.
A csapat később a Codexet a GPT-Astrával együtt használta három olyan nyílt súlyú modellre való optimalizáláshoz, amelyek nem szerepeltek az eredeti gyártási tervben. A munka két hónapot vett igénybe. Kiválasztott GPT-OSS figyelmi és mixture-of-experts blokkokban az MI által generált megvalósítások 1,5–1,8-szor gyorsabban futottak, mint a korábbi, szakértők által írt verziók.
Van egy fontos fenntartás: ez a teljesítménynövekedés kiválasztott számítási blokkokra vonatkozik, nem a GPT-OSS modell egészére.
Az NVIDIA problémája még nem a Jalapeño, hanem a mögötte álló trend
Egyetlen specializált chip nem fogja egyik napról a másikra átalakítani az MI-hardverpiacot. Az NVIDIA előnye nem csupán a GB200 vagy GB300 nyers számítási teljesítményében rejlik, hanem a CUDA szoftveres ökoszisztémában, a hálózatban, a szerverarchitektúrában és abban a képességben is, hogy ugyanazt a platformot modellek és munkaterhelések széles körében lehet használni.
A Jalapeño jelentősége máshol rejlik. Az OpenAI pontosan tudja, milyen munkaterheléseket generálnak saját szolgáltatásai, és ezek köré optimalizálhatja a hardvert. A Google, az Amazon és más nagy felhővállalatok évek óta ugyanezt a logikát követik. Az OpenAI saját chippel való piacra lépése további nyomást gyakorol arra, hogy az MI-számítás olcsóbbá és energiahatékonyabbá váljon.
Az OpenAI tervei szerint 2026 végéig telepíti a Jalapeñót saját számítási infrastruktúrájában. A második generációs chip fejlesztése már előrehaladott szakaszban van, miközben egy harmadik generáció architektúrája is formálódik.
Az energiahatékonyság különösen fontos Európa számára. Az MI-adatközpontok növekedése közvetlen versenyt jelent az elektromos kapacitásért és a hálózati csatlakozásokért. Ha a specializált inferenciachipek valóban lényegesen több hasznos munkát tudnak végezni kilowattonként, gazdasági hatásuk fontosabbnak bizonyulhat bármely egyedi, NVIDIA feletti benchmarkgyőzelemnél.
