La première puce interne d’OpenAI dépasse NVIDIA en vitesse et en efficacité énergétique
OpenAI a publié les premiers chiffres détaillés de performances pour Jalapeño, sa première puce conçue spécifiquement pour l’inférence IA. Lors de ses propres tests sur trois grands modèles de langage, la puce a offert un débit de pointe par unité de puissance 1,5 à 1,9 fois supérieur et une latence de requête de bout en bout 1,7 à 3,6 fois plus faible que les systèmes NVIDIA GB200 et GB300 utilisés à des fins de comparaison. Cela ne signifie pas que NVIDIA a été détrônée, mais cela montre pourquoi les plus grandes entreprises d’IA souhaitent de plus en plus concevoir elles-mêmes une plus grande part de leur matériel.
Jalapeño ne concurrence pas les puces d’entraînement
Il s’agit de la première puce d’inférence interne d’OpenAI, ce qui signifie qu’elle a été optimisée principalement pour exécuter des modèles déjà entraînés plutôt que pour entraîner de nouveaux grands modèles à partir de zéro. L’entreprise continuera d’utiliser des accélérateurs de NVIDIA et d’autres partenaires pour l’entraînement comme pour l’inférence.
OpenAI a utilisé le benchmark public InferenceX et testé trois modèles : GPT-OSS 120B, DeepSeek R1 670B et Kimi K2.5 1T. Les GB200 et GB300 de NVIDIA ont été utilisés comme systèmes de comparaison.
Avec GPT-OSS 120B, Jalapeño a atteint un débit de pointe de 85 448 tokens d’entrée et de sortie par seconde et par kilowatt, contre 44 960 pour le GB200. Cela donne à Jalapeño un avantage d’environ 1,9 fois. La latence de requête de bout en bout était de 1,03 seconde contre 1,80 seconde, respectivement.
DeepSeek R1 a produit un écart de latence encore plus important. Jalapeño a terminé la requête en 1,65 seconde, tandis que le GB300 a nécessité 5,99 secondes. Le débit de pointe par unité de puissance a atteint 19 641 tokens d’entrée et de sortie par seconde et par kilowatt sur Jalapeño, contre 11 781 sur le GB300. Avec Kimi K2.5, OpenAI a mesuré un débit de pointe par unité de puissance environ 1,5 fois supérieur et une latence totale 3,4 fois plus faible pour Jalapeño.
Il s’agit des propres mesures d’OpenAI, et non de résultats provenant d’un laboratoire indépendant. Les chiffres d’efficacité énergétique doivent également être lus dans le contexte de la méthodologie. OpenAI a normalisé les résultats en utilisant la puissance nominale publiée des accélérateurs plutôt qu’en mesurant la consommation électrique réelle de chaque système concurrent dans des conditions identiques.
La puce de 700 W n’a pas consommé plus de 550 W lors des tests
Jalapeño affiche une puissance nominale de 700 W. Selon OpenAI, la consommation électrique réelle est restée à 550 W ou moins dans les charges de travail testées. Pour ses calculs, l’entreprise a utilisé les puissances nominales publiées par NVIDIA, de 1 200 W pour le GB200 et de 1 400 W pour le GB300.
Le travail fourni par unité de puissance devient de plus en plus important dans les grands centres de données IA. La capacité électrique, le refroidissement et les raccordements au réseau peuvent limiter la croissance des fermes de serveurs autant que la disponibilité des puces. Si davantage de requêtes peuvent être traitées avec chaque kilowatt, le coût d’infrastructure par token généré ou demande utilisateur diminue.
L’architecture de Jalapeño est conçue autour des différentes phases de l’inférence des modèles de langage. Le traitement initial des entrées, ou prefill, est principalement intensif en calcul. La génération de la réponse token par token, ou decode, dépend davantage de la bande passante mémoire. Le déplacement des données et de l’état du modèle entre les puces et les unités de calcul consomme également du temps.
OpenAI a conçu le processeur, la mémoire, le réseau et les logiciels comme un système unique et intégré afin de réduire les déplacements de données inutiles. Entre autres choses, l’architecture permet au cache KV utilisé pendant la génération des réponses de rester aussi local que possible.
L’IA a contribué à concevoir la puce elle-même
L’IA a joué un rôle direct dans le développement de Jalapeño. Selon OpenAI, l’équipe est passée de la conception initiale au tape-out en neuf mois. L’IA a été utilisée pour explorer des options d’implémentation, optimiser des blocs arithmétiques et accélérer les cycles de vérification et de mesure.
L’équipe a ensuite utilisé Codex avec GPT-Astra pour optimiser la puce pour trois modèles à poids ouverts qui ne faisaient pas partie du plan de production initial. Le travail a pris deux mois. Dans certains blocs d’attention et de mixture-of-experts de GPT-OSS, les implémentations générées par l’IA ont fonctionné 1,5 à 1,8 fois plus vite que les versions antérieures écrites par des experts.
Il existe une réserve importante : ce gain de performances s’applique à certains blocs de calcul, et non au modèle GPT-OSS dans son ensemble.
Le problème de NVIDIA n’est pas encore Jalapeño, mais la tendance qui se cache derrière
Une seule puce spécialisée ne transformera pas le marché du matériel IA du jour au lendemain. L’avantage de NVIDIA ne réside pas uniquement dans les performances de calcul brutes du GB200 ou du GB300, mais aussi dans l’écosystème logiciel CUDA, le réseau, l’architecture serveur et la capacité à utiliser la même plateforme pour un large éventail de modèles et de charges de travail.
L’importance de Jalapeño se situe ailleurs. OpenAI sait exactement quelles charges de travail génèrent ses propres services et peut optimiser le matériel en fonction de celles-ci. Google, Amazon et d’autres grandes entreprises du cloud suivent la même logique depuis des années. L’entrée d’OpenAI sur le marché avec sa propre puce ajoute une pression supplémentaire pour rendre le calcul IA moins cher et plus économe en énergie.
OpenAI prévoit de déployer Jalapeño dans sa propre infrastructure de calcul d’ici la fin de 2026. Une puce de deuxième génération est déjà à un stade avancé de développement, tandis que l’architecture d’une troisième génération prend forme.
L’efficacité énergétique est particulièrement importante pour l’Europe. La croissance des centres de données IA implique une concurrence directe pour la capacité électrique et les raccordements au réseau. Si des puces d’inférence spécialisées peuvent réellement fournir beaucoup plus de travail utile par kilowatt, leur impact économique pourrait s’avérer plus important que n’importe quelle victoire isolée de benchmark face à NVIDIA.
Jalapeño ne concurrence pas les puces d’entraînement
Il s’agit de la première puce d’inférence interne d’OpenAI, ce qui signifie qu’elle a été optimisée principalement pour exécuter des modèles déjà entraînés plutôt que pour entraîner de nouveaux grands modèles à partir de zéro. L’entreprise continuera d’utiliser des accélérateurs de NVIDIA et d’autres partenaires pour l’entraînement comme pour l’inférence.
OpenAI a utilisé le benchmark public InferenceX et testé trois modèles : GPT-OSS 120B, DeepSeek R1 670B et Kimi K2.5 1T. Les GB200 et GB300 de NVIDIA ont été utilisés comme systèmes de comparaison.
Avec GPT-OSS 120B, Jalapeño a atteint un débit de pointe de 85 448 tokens d’entrée et de sortie par seconde et par kilowatt, contre 44 960 pour le GB200. Cela donne à Jalapeño un avantage d’environ 1,9 fois. La latence de requête de bout en bout était de 1,03 seconde contre 1,80 seconde, respectivement.
DeepSeek R1 a produit un écart de latence encore plus important. Jalapeño a terminé la requête en 1,65 seconde, tandis que le GB300 a nécessité 5,99 secondes. Le débit de pointe par unité de puissance a atteint 19 641 tokens d’entrée et de sortie par seconde et par kilowatt sur Jalapeño, contre 11 781 sur le GB300. Avec Kimi K2.5, OpenAI a mesuré un débit de pointe par unité de puissance environ 1,5 fois supérieur et une latence totale 3,4 fois plus faible pour Jalapeño.
Il s’agit des propres mesures d’OpenAI, et non de résultats provenant d’un laboratoire indépendant. Les chiffres d’efficacité énergétique doivent également être lus dans le contexte de la méthodologie. OpenAI a normalisé les résultats en utilisant la puissance nominale publiée des accélérateurs plutôt qu’en mesurant la consommation électrique réelle de chaque système concurrent dans des conditions identiques.
La puce de 700 W n’a pas consommé plus de 550 W lors des tests
Jalapeño affiche une puissance nominale de 700 W. Selon OpenAI, la consommation électrique réelle est restée à 550 W ou moins dans les charges de travail testées. Pour ses calculs, l’entreprise a utilisé les puissances nominales publiées par NVIDIA, de 1 200 W pour le GB200 et de 1 400 W pour le GB300.
Le travail fourni par unité de puissance devient de plus en plus important dans les grands centres de données IA. La capacité électrique, le refroidissement et les raccordements au réseau peuvent limiter la croissance des fermes de serveurs autant que la disponibilité des puces. Si davantage de requêtes peuvent être traitées avec chaque kilowatt, le coût d’infrastructure par token généré ou demande utilisateur diminue.
L’architecture de Jalapeño est conçue autour des différentes phases de l’inférence des modèles de langage. Le traitement initial des entrées, ou prefill, est principalement intensif en calcul. La génération de la réponse token par token, ou decode, dépend davantage de la bande passante mémoire. Le déplacement des données et de l’état du modèle entre les puces et les unités de calcul consomme également du temps.
OpenAI a conçu le processeur, la mémoire, le réseau et les logiciels comme un système unique et intégré afin de réduire les déplacements de données inutiles. Entre autres choses, l’architecture permet au cache KV utilisé pendant la génération des réponses de rester aussi local que possible.
L’IA a contribué à concevoir la puce elle-même
L’IA a joué un rôle direct dans le développement de Jalapeño. Selon OpenAI, l’équipe est passée de la conception initiale au tape-out en neuf mois. L’IA a été utilisée pour explorer des options d’implémentation, optimiser des blocs arithmétiques et accélérer les cycles de vérification et de mesure.
L’équipe a ensuite utilisé Codex avec GPT-Astra pour optimiser la puce pour trois modèles à poids ouverts qui ne faisaient pas partie du plan de production initial. Le travail a pris deux mois. Dans certains blocs d’attention et de mixture-of-experts de GPT-OSS, les implémentations générées par l’IA ont fonctionné 1,5 à 1,8 fois plus vite que les versions antérieures écrites par des experts.
Il existe une réserve importante : ce gain de performances s’applique à certains blocs de calcul, et non au modèle GPT-OSS dans son ensemble.
Le problème de NVIDIA n’est pas encore Jalapeño, mais la tendance qui se cache derrière
Une seule puce spécialisée ne transformera pas le marché du matériel IA du jour au lendemain. L’avantage de NVIDIA ne réside pas uniquement dans les performances de calcul brutes du GB200 ou du GB300, mais aussi dans l’écosystème logiciel CUDA, le réseau, l’architecture serveur et la capacité à utiliser la même plateforme pour un large éventail de modèles et de charges de travail.
L’importance de Jalapeño se situe ailleurs. OpenAI sait exactement quelles charges de travail génèrent ses propres services et peut optimiser le matériel en fonction de celles-ci. Google, Amazon et d’autres grandes entreprises du cloud suivent la même logique depuis des années. L’entrée d’OpenAI sur le marché avec sa propre puce ajoute une pression supplémentaire pour rendre le calcul IA moins cher et plus économe en énergie.
OpenAI prévoit de déployer Jalapeño dans sa propre infrastructure de calcul d’ici la fin de 2026. Une puce de deuxième génération est déjà à un stade avancé de développement, tandis que l’architecture d’une troisième génération prend forme.
L’efficacité énergétique est particulièrement importante pour l’Europe. La croissance des centres de données IA implique une concurrence directe pour la capacité électrique et les raccordements au réseau. Si des puces d’inférence spécialisées peuvent réellement fournir beaucoup plus de travail utile par kilowatt, leur impact économique pourrait s’avérer plus important que n’importe quelle victoire isolée de benchmark face à NVIDIA.
