OpenAIs erster eigener Chip übertrifft NVIDIA bei Geschwindigkeit und Energieeffizienz
OpenAI hat die ersten detaillierten Leistungsdaten für Jalapeño veröffentlicht, seinen ersten speziell für KI-Inferenz entwickelten Chip. In den eigenen Tests des Unternehmens über drei große Sprachmodelle hinweg lieferte der Chip einen 1,5- bis 1,9-mal höheren Spitzendurchsatz pro Leistungseinheit und eine 1,7- bis 3,6-mal geringere End-to-End-Anfragelatenz als die zum Vergleich verwendeten NVIDIA-GB200- und -GB300-Systeme. Das bedeutet nicht, dass NVIDIA entthront wurde, zeigt aber, warum die größten KI-Unternehmen zunehmend mehr eigene Hardware entwickeln wollen.
Jalapeño konkurriert nicht mit Trainingschips
Dies ist OpenAIs erster eigener Inferenzchip, was bedeutet, dass er primär für die Ausführung bereits trainierter Modelle optimiert wurde und nicht für das Training neuer großer Modelle von Grund auf. Das Unternehmen wird weiterhin Beschleuniger von NVIDIA und anderen Partnern sowohl für Training als auch für Inferenz einsetzen.
OpenAI verwendete den öffentlichen InferenceX-Benchmark und testete drei Modelle: GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. NVIDIAs GB200 und GB300 wurden als Vergleichssysteme eingesetzt.
Mit GPT-OSS 120B erreichte Jalapeño einen Spitzendurchsatz von 85.448 Eingabe- und Ausgabetokens pro Sekunde und Kilowatt, gegenüber 44.960 beim GB200. Das verschafft Jalapeño einen Vorteil von etwa dem 1,9-Fachen. Die End-to-End-Anfragelatenz lag bei 1,03 Sekunden gegenüber 1,80 Sekunden.
DeepSeek R1 ergab einen noch größeren Latenzunterschied. Jalapeño erledigte die Anfrage in 1,65 Sekunden, während der GB300 5,99 Sekunden benötigte. Der Spitzendurchsatz pro Leistungseinheit erreichte 19.641 Eingabe- und Ausgabetokens pro Sekunde und Kilowatt bei Jalapeño und 11.781 beim GB300. Mit Kimi K2.5 maß OpenAI für Jalapeño einen etwa 1,5-mal höheren Spitzendurchsatz pro Leistungseinheit und eine 3,4-mal geringere Gesamtlatenz.
Es handelt sich um OpenAIs eigene Messungen, nicht um Ergebnisse eines unabhängigen Labors. Die Energieeffizienzwerte müssen zudem im Kontext der Methodik gelesen werden. OpenAI normalisierte die Ergebnisse anhand der veröffentlichten Nennleistung der Beschleuniger, statt den tatsächlichen Stromverbrauch jedes konkurrierenden Systems unter identischen Bedingungen zu messen.
Der 700-W-Chip zog im Test nicht mehr als 550 W
Jalapeño hat eine Nennleistung von 700 W. Laut OpenAI blieb der tatsächliche Stromverbrauch bei den getesteten Workloads bei 550 W oder darunter. Für seine Berechnungen verwendete das Unternehmen NVIDIAs veröffentlichte Nennleistung von 1.200 W für den GB200 und 1.400 W für den GB300.
Die pro Leistungseinheit erbrachte Arbeit wird in großen KI-Rechenzentren immer wichtiger. Elektrische Kapazität, Kühlung und Netzanschlüsse können das Wachstum von Serverfarmen ebenso stark begrenzen wie die Verfügbarkeit von Chips. Wenn pro Kilowatt mehr Anfragen bedient werden können, sinken die Infrastrukturkosten pro generiertem Token oder Nutzeranfrage.
Jalapeños Architektur ist auf die verschiedenen Phasen der Inferenz von Sprachmodellen ausgelegt. Die anfängliche Verarbeitung der Eingabe, das sogenannte Prefill, ist hauptsächlich rechenintensiv. Die tokenweise Generierung der Antwort, das sogenannte Decode, hängt stärker von der Speicherbandbreite ab. Zeit wird zudem für die Übertragung von Daten und Modellzuständen zwischen Chips und Recheneinheiten benötigt.
OpenAI entwickelte Prozessor, Speicher, Netzwerk und Software als ein einziges integriertes System, um unnötige Datenbewegungen zu reduzieren. Unter anderem ermöglicht die Architektur, dass der bei der Antwortgenerierung verwendete KV-Cache möglichst lokal bleibt.
KI half bei der Entwicklung des Chips selbst
KI spielte eine direkte Rolle bei der Entwicklung von Jalapeño. Laut OpenAI benötigte das Team vom ersten Entwurf bis zum Tape-out neun Monate. KI wurde eingesetzt, um Implementierungsoptionen zu untersuchen, Rechenblöcke zu optimieren und Verifizierungs- sowie Messzyklen zu beschleunigen.
Das Team nutzte später Codex zusammen mit GPT-Astra, um den Chip für drei Open-Weight-Modelle zu optimieren, die nicht Teil des ursprünglichen Produktionsplans waren. Die Arbeit dauerte zwei Monate. In ausgewählten GPT-OSS-Aufmerksamkeits- und Mixture-of-Experts-Blöcken liefen KI-generierte Implementierungen 1,5- bis 1,8-mal schneller als die früheren, von Experten geschriebenen Versionen.
Es gibt einen wichtigen Vorbehalt: Dieser Leistungsgewinn gilt für ausgewählte Rechenblöcke, nicht für das GPT-OSS-Modell als Ganzes.
NVIDIAs Problem ist noch nicht Jalapeño, sondern der Trend dahinter
Ein einzelner spezialisierter Chip wird den KI-Hardwaremarkt nicht über Nacht umgestalten. NVIDIAs Vorteil liegt nicht nur in der reinen Rechenleistung des GB200 oder GB300, sondern auch im CUDA-Softwareökosystem, bei Netzwerken, der Serverarchitektur und der Möglichkeit, dieselbe Plattform über eine breite Palette von Modellen und Workloads hinweg einzusetzen.
Die Bedeutung von Jalapeño liegt woanders. OpenAI weiß genau, welche Workloads die eigenen Dienste erzeugen, und kann Hardware darauf optimieren. Google, Amazon und andere große Cloud-Unternehmen verfolgen seit Jahren dieselbe Logik. OpenAIs Eintritt in den Markt mit einem eigenen Chip erhöht den Druck zusätzlich, KI-Rechenleistung günstiger und energieeffizienter zu machen.
OpenAI plant, Jalapeño bis Ende 2026 in seiner eigenen Recheninfrastruktur einzusetzen. Ein Chip der zweiten Generation befindet sich bereits weit in der Entwicklung, während die Architektur einer dritten Generation Gestalt annimmt.
Energieeffizienz ist besonders wichtig für Europa. Das Wachstum von KI-Rechenzentren führt zu direktem Wettbewerb um elektrische Kapazität und Netzanschlüsse. Wenn spezialisierte Inferenzchips tatsächlich wesentlich mehr nutzbringende Arbeit pro Kilowatt liefern können, könnte ihre wirtschaftliche Wirkung wichtiger sein als jeder einzelne Benchmark-Sieg über NVIDIA.
Jalapeño konkurriert nicht mit Trainingschips
Dies ist OpenAIs erster eigener Inferenzchip, was bedeutet, dass er primär für die Ausführung bereits trainierter Modelle optimiert wurde und nicht für das Training neuer großer Modelle von Grund auf. Das Unternehmen wird weiterhin Beschleuniger von NVIDIA und anderen Partnern sowohl für Training als auch für Inferenz einsetzen.
OpenAI verwendete den öffentlichen InferenceX-Benchmark und testete drei Modelle: GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. NVIDIAs GB200 und GB300 wurden als Vergleichssysteme eingesetzt.
Mit GPT-OSS 120B erreichte Jalapeño einen Spitzendurchsatz von 85.448 Eingabe- und Ausgabetokens pro Sekunde und Kilowatt, gegenüber 44.960 beim GB200. Das verschafft Jalapeño einen Vorteil von etwa dem 1,9-Fachen. Die End-to-End-Anfragelatenz lag bei 1,03 Sekunden gegenüber 1,80 Sekunden.
DeepSeek R1 ergab einen noch größeren Latenzunterschied. Jalapeño erledigte die Anfrage in 1,65 Sekunden, während der GB300 5,99 Sekunden benötigte. Der Spitzendurchsatz pro Leistungseinheit erreichte 19.641 Eingabe- und Ausgabetokens pro Sekunde und Kilowatt bei Jalapeño und 11.781 beim GB300. Mit Kimi K2.5 maß OpenAI für Jalapeño einen etwa 1,5-mal höheren Spitzendurchsatz pro Leistungseinheit und eine 3,4-mal geringere Gesamtlatenz.
Es handelt sich um OpenAIs eigene Messungen, nicht um Ergebnisse eines unabhängigen Labors. Die Energieeffizienzwerte müssen zudem im Kontext der Methodik gelesen werden. OpenAI normalisierte die Ergebnisse anhand der veröffentlichten Nennleistung der Beschleuniger, statt den tatsächlichen Stromverbrauch jedes konkurrierenden Systems unter identischen Bedingungen zu messen.
Der 700-W-Chip zog im Test nicht mehr als 550 W
Jalapeño hat eine Nennleistung von 700 W. Laut OpenAI blieb der tatsächliche Stromverbrauch bei den getesteten Workloads bei 550 W oder darunter. Für seine Berechnungen verwendete das Unternehmen NVIDIAs veröffentlichte Nennleistung von 1.200 W für den GB200 und 1.400 W für den GB300.
Die pro Leistungseinheit erbrachte Arbeit wird in großen KI-Rechenzentren immer wichtiger. Elektrische Kapazität, Kühlung und Netzanschlüsse können das Wachstum von Serverfarmen ebenso stark begrenzen wie die Verfügbarkeit von Chips. Wenn pro Kilowatt mehr Anfragen bedient werden können, sinken die Infrastrukturkosten pro generiertem Token oder Nutzeranfrage.
Jalapeños Architektur ist auf die verschiedenen Phasen der Inferenz von Sprachmodellen ausgelegt. Die anfängliche Verarbeitung der Eingabe, das sogenannte Prefill, ist hauptsächlich rechenintensiv. Die tokenweise Generierung der Antwort, das sogenannte Decode, hängt stärker von der Speicherbandbreite ab. Zeit wird zudem für die Übertragung von Daten und Modellzuständen zwischen Chips und Recheneinheiten benötigt.
OpenAI entwickelte Prozessor, Speicher, Netzwerk und Software als ein einziges integriertes System, um unnötige Datenbewegungen zu reduzieren. Unter anderem ermöglicht die Architektur, dass der bei der Antwortgenerierung verwendete KV-Cache möglichst lokal bleibt.
KI half bei der Entwicklung des Chips selbst
KI spielte eine direkte Rolle bei der Entwicklung von Jalapeño. Laut OpenAI benötigte das Team vom ersten Entwurf bis zum Tape-out neun Monate. KI wurde eingesetzt, um Implementierungsoptionen zu untersuchen, Rechenblöcke zu optimieren und Verifizierungs- sowie Messzyklen zu beschleunigen.
Das Team nutzte später Codex zusammen mit GPT-Astra, um den Chip für drei Open-Weight-Modelle zu optimieren, die nicht Teil des ursprünglichen Produktionsplans waren. Die Arbeit dauerte zwei Monate. In ausgewählten GPT-OSS-Aufmerksamkeits- und Mixture-of-Experts-Blöcken liefen KI-generierte Implementierungen 1,5- bis 1,8-mal schneller als die früheren, von Experten geschriebenen Versionen.
Es gibt einen wichtigen Vorbehalt: Dieser Leistungsgewinn gilt für ausgewählte Rechenblöcke, nicht für das GPT-OSS-Modell als Ganzes.
NVIDIAs Problem ist noch nicht Jalapeño, sondern der Trend dahinter
Ein einzelner spezialisierter Chip wird den KI-Hardwaremarkt nicht über Nacht umgestalten. NVIDIAs Vorteil liegt nicht nur in der reinen Rechenleistung des GB200 oder GB300, sondern auch im CUDA-Softwareökosystem, bei Netzwerken, der Serverarchitektur und der Möglichkeit, dieselbe Plattform über eine breite Palette von Modellen und Workloads hinweg einzusetzen.
Die Bedeutung von Jalapeño liegt woanders. OpenAI weiß genau, welche Workloads die eigenen Dienste erzeugen, und kann Hardware darauf optimieren. Google, Amazon und andere große Cloud-Unternehmen verfolgen seit Jahren dieselbe Logik. OpenAIs Eintritt in den Markt mit einem eigenen Chip erhöht den Druck zusätzlich, KI-Rechenleistung günstiger und energieeffizienter zu machen.
OpenAI plant, Jalapeño bis Ende 2026 in seiner eigenen Recheninfrastruktur einzusetzen. Ein Chip der zweiten Generation befindet sich bereits weit in der Entwicklung, während die Architektur einer dritten Generation Gestalt annimmt.
Energieeffizienz ist besonders wichtig für Europa. Das Wachstum von KI-Rechenzentren führt zu direktem Wettbewerb um elektrische Kapazität und Netzanschlüsse. Wenn spezialisierte Inferenzchips tatsächlich wesentlich mehr nutzbringende Arbeit pro Kilowatt liefern können, könnte ihre wirtschaftliche Wirkung wichtiger sein als jeder einzelne Benchmark-Sieg über NVIDIA.
