OpenAI pirmais pašu izstrādātais čips ātruma un energoefektivitātes ziņā pārspēj NVIDIA
OpenAI ir publicējis pirmos detalizētos veiktspējas rādītājus par Jalapeño — savu pirmo čipu, kas īpaši izstrādāts MI inferenču veikšanai. Uzņēmuma paša testos ar trim lielajiem valodas modeļiem čips nodrošināja 1,5–1,9 reizes lielāku maksimālo caurlaidspēju uz jaudas vienību un 1,7–3,6 reizes mazāku pilno vaicājuma aizkavi nekā salīdzinājumam izmantotās NVIDIA GB200 un GB300 sistēmas. Tas nenozīmē, ka NVIDIA ir gāzta no troņa, taču parāda, kāpēc lielākie MI uzņēmumi arvien vairāk vēlas paši izstrādāt vairāk savas aparatūras.
Jalapeño nekonkurē ar apmācības čipiem
Šis ir OpenAI pirmais pašu izstrādātais inferenču čips, proti, tas galvenokārt optimizēts jau apmācītu modeļu darbināšanai, nevis jaunu lielu modeļu apmācībai no nulles. Uzņēmums arī turpmāk izmantos NVIDIA un citu partneru paātrinātājus gan apmācībai, gan inferencei.
OpenAI izmantoja publisko InferenceX etalonu un testēja trīs modeļus: GPT-OSS 120B, DeepSeek R1 670B un Kimi K2.5 1T. Kā salīdzināšanas sistēmas tika izmantotas NVIDIA GB200 un GB300.
Ar GPT-OSS 120B Jalapeño sasniedza maksimālo caurlaidspēju 85 448 ievades un izvades tokenu sekundē uz kilovatu, salīdzinot ar 44 960 GB200 sistēmai. Tas Jalapeño dod aptuveni 1,9 reizes lielu priekšrocību. Pilnā vaicājuma aizkave bija attiecīgi 1,03 sekundes pret 1,80 sekundēm.
DeepSeek R1 radīja vēl lielāku aizkaves atšķirību. Jalapeño pabeidza vaicājumu 1,65 sekundēs, savukārt GB300 bija nepieciešamas 5,99 sekundes. Maksimālā caurlaidspēja uz jaudas vienību Jalapeño sasniedza 19 641 ievades un izvades tokenu sekundē uz kilovatu, bet GB300 — 11 781. Ar Kimi K2.5 OpenAI Jalapeño izmērīja aptuveni 1,5 reizes lielāku maksimālo caurlaidspēju uz jaudas vienību un 3,4 reizes mazāku kopējo aizkavi.
Tie ir paša OpenAI mērījumi, nevis neatkarīgas laboratorijas rezultāti. Energoefektivitātes rādītāji ir jāvērtē arī metodoloģijas kontekstā. OpenAI normalizēja rezultātus, izmantojot paātrinātāju publicēto nominālo jaudu, nevis identiskos apstākļos mērot katras konkurējošās sistēmas faktisko elektroenerģijas patēriņu.
700 W čips testos patērēja ne vairāk kā 550 W
Jalapeño nominālā jauda ir 700 W. Saskaņā ar OpenAI teikto, faktiskā elektroenerģijas patēriņa vērtība testētajās slodzēs nepārsniedza 550 W. Aprēķinos uzņēmums izmantoja NVIDIA publicēto GB200 nominālo jaudu 1 200 W un GB300 — 1 400 W.
Darba apjoms uz jaudas vienību kļūst arvien svarīgāks lielos MI datu centros. Elektroenerģijas pieejamā jauda, dzesēšana un pieslēgumi elektrotīklam var ierobežot serveru fermu izaugsmi tikpat lielā mērā kā čipu pieejamība. Ja no katra kilovata var apkalpot vairāk vaicājumu, samazinās infrastruktūras izmaksas uz vienu ģenerēto tokenu vai lietotāja pieprasījumu.
Jalapeño arhitektūra ir veidota, ņemot vērā valodas modeļu inferenču atšķirīgās fāzes. Sākotnējā ievades apstrāde jeb prefill galvenokārt ir skaitļošanas ietilpīga. Atbildes ģenerēšana tokenu pa tokenam jeb decode vairāk ir atkarīga no atmiņas joslas platuma. Laiks tiek patērēts arī, pārvietojot datus un modeļa stāvokli starp čipiem un skaitļošanas vienībām.
OpenAI procesoru, atmiņu, tīklveidi un programmatūru izstrādāja kā vienotu integrētu sistēmu, lai samazinātu nevajadzīgu datu pārvietošanu. Cita starpā arhitektūra ļauj atbildes ģenerēšanā izmantotajai KV kešatmiņai palikt pēc iespējas lokālākai.
MI palīdzēja izstrādāt pašu čipu
MI Jalapeño izstrādē spēlēja tiešu lomu. Saskaņā ar OpenAI teikto, komanda no sākotnējā dizaina līdz tape-out nonāca deviņos mēnešos. MI tika izmantots, lai izpētītu realizācijas iespējas, optimizētu aritmētiskos blokus un paātrinātu verifikācijas un mērījumu ciklus.
Vēlāk komanda izmantoja Codex kopā ar GPT-Astra, lai optimizētu čipu trim atvērto svaru modeļiem, kuri nebija sākotnējā ražošanas plāna daļa. Darbs aizņēma divus mēnešus. Atsevišķos GPT-OSS uzmanības un ekspertu maisījuma blokos MI ģenerētās realizācijas darbojās 1,5–1,8 reizes ātrāk nekā iepriekšējās ekspertu rakstītās versijas.
Ir būtiska piebilde: šis veiktspējas pieaugums attiecas uz atlasītiem skaitļošanas blokiem, nevis uz GPT-OSS modeli kopumā.
NVIDIA problēma pagaidām nav Jalapeño, bet gan tendence, kas aiz tā slēpjas
Viens specializēts čips nepārveidos MI aparatūras tirgu vienas nakts laikā. NVIDIA priekšrocība slēpjas ne tikai GB200 vai GB300 neapstrādātajā skaitļošanas veiktspējā, bet arī CUDA programmatūras ekosistēmā, tīklveidē, serveru arhitektūrā un spējā izmantot vienu un to pašu platformu plašam modeļu un darba slodžu klāstam.
Jalapeño nozīme ir citur. OpenAI precīzi zina, kādas darba slodzes rada tā pakalpojumi, un var optimizēt aparatūru tiem. Google, Amazon un citi lielie mākoņpakalpojumu uzņēmumi jau gadiem ievēro to pašu loģiku. OpenAI ienākšana tirgū ar savu čipu rada papildu spiedienu padarīt MI skaitļošanu lētāku un energoefektīvāku.
OpenAI plāno līdz 2026. gada beigām ieviest Jalapeño savā skaitļošanas infrastruktūrā. Otrās paaudzes čips jau ir aktīvā izstrādes stadijā, savukārt trešās paaudzes arhitektūra iegūst aprises.
Energoefektivitāte ir īpaši svarīga Eiropai. MI datu centru izaugsme nozīmē tiešu konkurenci par elektroenerģijas jaudu un pieslēgumiem elektrotīklam. Ja specializēti inferenču čipi patiešām spēj nodrošināt būtiski vairāk lietderīga darba uz kilovatu, to ekonomiskā ietekme var izrādīties svarīgāka par jebkuru atsevišķu etalona uzvaru pār NVIDIA.
Jalapeño nekonkurē ar apmācības čipiem
Šis ir OpenAI pirmais pašu izstrādātais inferenču čips, proti, tas galvenokārt optimizēts jau apmācītu modeļu darbināšanai, nevis jaunu lielu modeļu apmācībai no nulles. Uzņēmums arī turpmāk izmantos NVIDIA un citu partneru paātrinātājus gan apmācībai, gan inferencei.
OpenAI izmantoja publisko InferenceX etalonu un testēja trīs modeļus: GPT-OSS 120B, DeepSeek R1 670B un Kimi K2.5 1T. Kā salīdzināšanas sistēmas tika izmantotas NVIDIA GB200 un GB300.
Ar GPT-OSS 120B Jalapeño sasniedza maksimālo caurlaidspēju 85 448 ievades un izvades tokenu sekundē uz kilovatu, salīdzinot ar 44 960 GB200 sistēmai. Tas Jalapeño dod aptuveni 1,9 reizes lielu priekšrocību. Pilnā vaicājuma aizkave bija attiecīgi 1,03 sekundes pret 1,80 sekundēm.
DeepSeek R1 radīja vēl lielāku aizkaves atšķirību. Jalapeño pabeidza vaicājumu 1,65 sekundēs, savukārt GB300 bija nepieciešamas 5,99 sekundes. Maksimālā caurlaidspēja uz jaudas vienību Jalapeño sasniedza 19 641 ievades un izvades tokenu sekundē uz kilovatu, bet GB300 — 11 781. Ar Kimi K2.5 OpenAI Jalapeño izmērīja aptuveni 1,5 reizes lielāku maksimālo caurlaidspēju uz jaudas vienību un 3,4 reizes mazāku kopējo aizkavi.
Tie ir paša OpenAI mērījumi, nevis neatkarīgas laboratorijas rezultāti. Energoefektivitātes rādītāji ir jāvērtē arī metodoloģijas kontekstā. OpenAI normalizēja rezultātus, izmantojot paātrinātāju publicēto nominālo jaudu, nevis identiskos apstākļos mērot katras konkurējošās sistēmas faktisko elektroenerģijas patēriņu.
700 W čips testos patērēja ne vairāk kā 550 W
Jalapeño nominālā jauda ir 700 W. Saskaņā ar OpenAI teikto, faktiskā elektroenerģijas patēriņa vērtība testētajās slodzēs nepārsniedza 550 W. Aprēķinos uzņēmums izmantoja NVIDIA publicēto GB200 nominālo jaudu 1 200 W un GB300 — 1 400 W.
Darba apjoms uz jaudas vienību kļūst arvien svarīgāks lielos MI datu centros. Elektroenerģijas pieejamā jauda, dzesēšana un pieslēgumi elektrotīklam var ierobežot serveru fermu izaugsmi tikpat lielā mērā kā čipu pieejamība. Ja no katra kilovata var apkalpot vairāk vaicājumu, samazinās infrastruktūras izmaksas uz vienu ģenerēto tokenu vai lietotāja pieprasījumu.
Jalapeño arhitektūra ir veidota, ņemot vērā valodas modeļu inferenču atšķirīgās fāzes. Sākotnējā ievades apstrāde jeb prefill galvenokārt ir skaitļošanas ietilpīga. Atbildes ģenerēšana tokenu pa tokenam jeb decode vairāk ir atkarīga no atmiņas joslas platuma. Laiks tiek patērēts arī, pārvietojot datus un modeļa stāvokli starp čipiem un skaitļošanas vienībām.
OpenAI procesoru, atmiņu, tīklveidi un programmatūru izstrādāja kā vienotu integrētu sistēmu, lai samazinātu nevajadzīgu datu pārvietošanu. Cita starpā arhitektūra ļauj atbildes ģenerēšanā izmantotajai KV kešatmiņai palikt pēc iespējas lokālākai.
MI palīdzēja izstrādāt pašu čipu
MI Jalapeño izstrādē spēlēja tiešu lomu. Saskaņā ar OpenAI teikto, komanda no sākotnējā dizaina līdz tape-out nonāca deviņos mēnešos. MI tika izmantots, lai izpētītu realizācijas iespējas, optimizētu aritmētiskos blokus un paātrinātu verifikācijas un mērījumu ciklus.
Vēlāk komanda izmantoja Codex kopā ar GPT-Astra, lai optimizētu čipu trim atvērto svaru modeļiem, kuri nebija sākotnējā ražošanas plāna daļa. Darbs aizņēma divus mēnešus. Atsevišķos GPT-OSS uzmanības un ekspertu maisījuma blokos MI ģenerētās realizācijas darbojās 1,5–1,8 reizes ātrāk nekā iepriekšējās ekspertu rakstītās versijas.
Ir būtiska piebilde: šis veiktspējas pieaugums attiecas uz atlasītiem skaitļošanas blokiem, nevis uz GPT-OSS modeli kopumā.
NVIDIA problēma pagaidām nav Jalapeño, bet gan tendence, kas aiz tā slēpjas
Viens specializēts čips nepārveidos MI aparatūras tirgu vienas nakts laikā. NVIDIA priekšrocība slēpjas ne tikai GB200 vai GB300 neapstrādātajā skaitļošanas veiktspējā, bet arī CUDA programmatūras ekosistēmā, tīklveidē, serveru arhitektūrā un spējā izmantot vienu un to pašu platformu plašam modeļu un darba slodžu klāstam.
Jalapeño nozīme ir citur. OpenAI precīzi zina, kādas darba slodzes rada tā pakalpojumi, un var optimizēt aparatūru tiem. Google, Amazon un citi lielie mākoņpakalpojumu uzņēmumi jau gadiem ievēro to pašu loģiku. OpenAI ienākšana tirgū ar savu čipu rada papildu spiedienu padarīt MI skaitļošanu lētāku un energoefektīvāku.
OpenAI plāno līdz 2026. gada beigām ieviest Jalapeño savā skaitļošanas infrastruktūrā. Otrās paaudzes čips jau ir aktīvā izstrādes stadijā, savukārt trešās paaudzes arhitektūra iegūst aprises.
Energoefektivitāte ir īpaši svarīga Eiropai. MI datu centru izaugsme nozīmē tiešu konkurenci par elektroenerģijas jaudu un pieslēgumiem elektrotīklam. Ja specializēti inferenču čipi patiešām spēj nodrošināt būtiski vairāk lietderīga darba uz kilovatu, to ekonomiskā ietekme var izrādīties svarīgāka par jebkuru atsevišķu etalona uzvaru pār NVIDIA.
