OpenAI esimene oma kiip näitas NVIDIA-st paremt kiirust ja energiatõhusust

OpenAI avaldas oma esimese spetsiaalselt tehisintellekti inferentsiks loodud kiibi Jalapeño esimesed põhjalikud jõudlusnäitajad. Ettevõtte testides pakkus kiip kolme suure keelemudeli jooksutamisel võimsusühiku kohta 1,5-1,9 korda suuremat tipp-läbilaset ja 1,7-3,6 korda väiksemat päringu kogulatentsust kui võrdluses kasutatud NVIDIA GB200 ning GB300 süsteemid. Tulemus ei tähenda veel NVIDIA troonilt tõukamist, kuid näitab, miks suurimad AI-ettevõtted tahavad üha suuremat osa riistvarast ise kujundada.

Jalapeño ei võistle treeningkiipidega

Tegemist on ettevõtte esimese oma inferentsikiibiga, mis tähendab, et OpenAI optimeeris selle eeskätt juba treenitud mudelite jooksutamiseks, mitte uute suurmudelite treenimiseks. Ettevõte kasutab ka edaspidi NVIDIA ja teiste partnerite kiirendeid nii treeninguks kui inferentsiks.

OpenAI kasutas avalikku InferenceX benchmark’i ning katsetas kolme mudelit: GPT-OSS 120B, DeepSeek R1 670B ja Kimi K2.5 1T. Võrdluses osalesid NVIDIA GB200 ja GB300.

GPT-OSS 120B puhul saavutas Jalapeño tipptasemel 85 448 sisendi ja väljundi tokenit sekundis kilovati kohta, GB200 tulemus oli 44 960. Vahe ulatus seega ligikaudu 1,9 korrani. Päringu otsast lõpuni latentsus oli vastavalt 1,03 ja 1,80 sekundit.

DeepSeek R1 tõi esile veel suurema latentsuse vahe. Jalapeño lõpetas päringu 1,65 sekundiga, GB300 vajas 5,99 sekundit. Tipp-läbilase võimsusühiku kohta ulatus vastavalt 19 641 ja 11 781 sisendi ja väljundi tokenini sekundis kilovati kohta. Kimi K2.5 puhul mõõtis OpenAI Jalapeñole ligikaudu 1,5 korda suurema tipp-läbilaske võimsusühiku kohta ning 3,4 korda väiksema kogulatentsuse.

Need on OpenAI enda mõõtmised, mitte sõltumatu labori tulemused. Ka energiatõhususe numbrite tõlgendamisel tuleb arvestada metoodikaga. OpenAI normaliseeris tulemused kiirendite avaliku nimivõimsuse järgi, mitte ei mõõtnud kõigi konkureerivate süsteemide tegelikku energiatarvet samades tingimustes.

700 W kiip tarbis testides kuni 550 W

Jalapeño nimivõimsus on 700 W. OpenAI teatel püsis tegelik energiatarve katsetatud töökoormustes 550 W või madalamal. GB200 puhul kasutas ettevõte arvutustes NVIDIA avaldatud 1200 W ja GB300 puhul 1400 W nimivõimsust.

Just võimsusühiku kohta tehtav töö muutub suurtes AI-andmekeskustes järjest olulisemaks. Elektrivõimsus, jahutus ja võrguühendused piiravad serveriparkide kasvu sama palju kui kiipide saadavus. Kui ühe kilovati juures saab teenindada rohkem päringuid, langeb infrastruktuuri maksumus ühe genereeritud tokeni või kasutajapäringu kohta.

Jalapeño arhitektuur lähtub keelemudeli inferentsi eri faaside vajadustest. Sisendi esmane töötlemine ehk prefill koormab eelkõige arvutusüksusi. Tokenite kaupa vastuse genereerimine ehk decode sõltub rohkem mälu läbilaskevõimest. Lisaks kulutab aega andmete ja mudeli oleku liigutamine kiipide ning arvutusüksuste vahel.

OpenAI kujundas protsessori, mälu, võrgu ja tarkvara ühe tervikuna, vähendamaks tarbetut andmeliiklust. Arhitektuur võimaldab muu hulgas hoida vastuse genereerimisel kasutatavat KV-vahemälu võimalikult lokaalselt.

AI ise aitas kiipi projekteerida

Jalapeño arenduses mängis tehisintellekt otsest rolli. OpenAI sõnul jõudis meeskond esialgsest disainist tapeout’ini üheksa kuuga. AI aitas uurida eri teostusvariante, optimeerida aritmeetikaplokke ning kiirendada kontrolli- ja mõõtmistsükleid.

Hiljem kasutas meeskond Codexit koos GPT-Astraga, optimeerimaks kiipi kolme avatud kaaludega mudeli jaoks, mida algne tootmisplaan ei sisaldanud. Töö võttis kaks kuud. Valitud GPT-OSS-i attention’i ja mixture-of-experts’i plokkides töötasid AI loodud lahendused 1,5-1,8 korda kiiremini kui varasemad ekspertide kirjutatud variandid.

Siin on oluline piirang: see kiirusevahe käib valitud arvutusplokkide, mitte kogu GPT-OSS mudeli kohta.

NVIDIA probleem pole veel Jalapeño, vaid trend

Üks spetsialiseeritud kiip ei muuda AI-riistvara jõujooni üleöö. NVIDIA eelis ei seisne ainult GB200 või GB300 arvutusvõimsuses, vaid CUDA tarkvaraökosüsteemis, võrgulahendustes, serveriarhitektuuris ja võimaluses kasutada sama platvormi väga erinevate mudelite ning töökoormustega.

Jalapeño tähtsus peitub teises kohas. OpenAI teab täpselt, milliseid töökoormusi tema enda teenused toodavad, ning saab riistvara nende järgi optimeerida. Google, Amazon ja teised suured pilveettevõtted on sama loogikat juba aastaid rakendanud. OpenAI sisenemine oma kiibiga suurendab survet muuta AI-arvutus odavamaks ja energiatõhusamaks.

OpenAI plaanib Jalapeño oma arvutustaristus kasutusele võtta 2026. aasta lõpuks. Teise põlvkonna kiip on juba sügavas arendusfaasis ja kolmanda põlvkonna arhitektuur kujuneb.

Euroopa jaoks on energiatõhusus eriti oluline. AI-andmekeskuste kasv tähendab otsest konkurentsi elektrivõimsuse ja võrguühenduste pärast. Kui spetsiaalsed inferentsikiibid suudavad ühe kilovati kohta tõepoolest märksa rohkem kasutatavat tööd teha, võib nende majanduslik mõju osutuda isegi tähtsamaks kui üksik benchmark’i võit NVIDIA üle.