Το πρώτο εσωτερικά σχεδιασμένο τσιπ της OpenAI ξεπερνά τη NVIDIA σε ταχύτητα και ενεργειακή απόδοση
Η OpenAI δημοσίευσε τα πρώτα λεπτομερή στοιχεία απόδοσης για το Jalapeño, το πρώτο της τσιπ που σχεδιάστηκε ειδικά για AI inference. Στις δοκιμές της εταιρείας σε τρία μεγάλα γλωσσικά μοντέλα, το τσιπ προσέφερε 1.5-1.9 φορές υψηλότερη μέγιστη απόδοση ανά μονάδα ισχύος και 1.7-3.6 φορές χαμηλότερη καθυστέρηση ερωτήματος από άκρο σε άκρο σε σχέση με τα συστήματα NVIDIA GB200 και GB300 που χρησιμοποιήθηκαν για σύγκριση. Αυτό δεν σημαίνει ότι η NVIDIA εκθρονίστηκε, αλλά δείχνει γιατί οι μεγαλύτερες εταιρείες AI θέλουν ολοένα και περισσότερο να σχεδιάζουν περισσότερα από τα δικά τους hardware.
Το Jalapeño δεν ανταγωνίζεται τα τσιπ εκπαίδευσης
Πρόκειται για το πρώτο εσωτερικά σχεδιασμένο τσιπ inference της OpenAI, πράγμα που σημαίνει ότι έχει βελτιστοποιηθεί κυρίως για την εκτέλεση μοντέλων που έχουν ήδη εκπαιδευτεί, αντί για την εκπαίδευση νέων μεγάλων μοντέλων από την αρχή. Η εταιρεία θα συνεχίσει να χρησιμοποιεί επιταχυντές από τη NVIDIA και άλλους συνεργάτες τόσο για εκπαίδευση όσο και για inference.
Η OpenAI χρησιμοποίησε το δημόσιο benchmark InferenceX και δοκίμασε τρία μοντέλα: GPT-OSS 120B, DeepSeek R1 670B και Kimi K2.5 1T. Τα GB200 και GB300 της NVIDIA χρησιμοποιήθηκαν ως συστήματα σύγκρισης.
Με το GPT-OSS 120B, το Jalapeño πέτυχε μέγιστη απόδοση 85,448 tokens εισόδου και εξόδου ανά δευτερόλεπτο ανά kilowatt, σε σύγκριση με 44,960 για το GB200. Αυτό δίνει στο Jalapeño πλεονέκτημα περίπου 1.9 φορές. Η καθυστέρηση ερωτήματος από άκρο σε άκρο ήταν 1.03 δευτερόλεπτα έναντι 1.80 δευτερολέπτων αντίστοιχα.
Το DeepSeek R1 παρήγαγε ακόμη μεγαλύτερη διαφορά στην καθυστέρηση. Το Jalapeño ολοκλήρωσε το ερώτημα σε 1.65 δευτερόλεπτα, ενώ το GB300 χρειάστηκε 5.99 δευτερόλεπτα. Η μέγιστη απόδοση ανά μονάδα ισχύος έφτασε τα 19,641 tokens εισόδου και εξόδου ανά δευτερόλεπτο ανά kilowatt στο Jalapeño και τα 11,781 στο GB300. Με το Kimi K2.5, η OpenAI μέτρησε περίπου 1.5 φορές υψηλότερη μέγιστη απόδοση ανά μονάδα ισχύος και 3.4 φορές χαμηλότερη συνολική καθυστέρηση για το Jalapeño.
Αυτές είναι οι μετρήσεις της ίδιας της OpenAI και όχι αποτελέσματα από ανεξάρτητο εργαστήριο. Τα στοιχεία ενεργειακής απόδοσης πρέπει επίσης να διαβαστούν στο πλαίσιο της μεθοδολογίας. Η OpenAI κανονικοποίησε τα αποτελέσματα χρησιμοποιώντας τη δημοσιευμένη ονομαστική ισχύ των επιταχυντών, αντί να μετρήσει την πραγματική κατανάλωση ισχύος κάθε ανταγωνιστικού συστήματος υπό πανομοιότυπες συνθήκες.
Το τσιπ των 700 W δεν κατανάλωσε πάνω από 550 W στις δοκιμές
Το Jalapeño έχει ονομαστική ισχύ 700 W. Σύμφωνα με την OpenAI, η πραγματική κατανάλωση ισχύος παρέμεινε στα 550 W ή χαμηλότερα στα workloads που δοκιμάστηκαν. Για τους υπολογισμούς της, η εταιρεία χρησιμοποίησε τη δημοσιευμένη ονομαστική ισχύ της NVIDIA, 1,200 W για το GB200 και 1,400 W για το GB300.
Η εργασία που αποδίδεται ανά μονάδα ισχύος γίνεται ολοένα σημαντικότερη στα μεγάλα κέντρα δεδομένων AI. Η ηλεκτρική ισχύς, η ψύξη και οι συνδέσεις με το δίκτυο μπορούν να περιορίσουν την ανάπτυξη των συστοιχιών διακομιστών εξίσου με τη διαθεσιμότητα των τσιπ. Εάν μπορούν να εξυπηρετηθούν περισσότερα ερωτήματα από κάθε kilowatt, το κόστος υποδομής ανά παραγόμενο token ή αίτημα χρήστη μειώνεται.
Η αρχιτεκτονική του Jalapeño είναι σχεδιασμένη γύρω από τις διαφορετικές φάσεις του inference γλωσσικών μοντέλων. Η αρχική επεξεργασία εισόδου, ή prefill, απαιτεί κυρίως υπολογιστική ισχύ. Η δημιουργία της απάντησης token προς token, ή decode, εξαρτάται περισσότερο από το εύρος ζώνης μνήμης. Χρόνος καταναλώνεται επίσης για τη μετακίνηση δεδομένων και της κατάστασης του μοντέλου μεταξύ τσιπ και υπολογιστικών μονάδων.
Η OpenAI σχεδίασε τον επεξεργαστή, τη μνήμη, το δίκτυο και το λογισμικό ως ένα ενιαίο ολοκληρωμένο σύστημα, προκειμένου να μειώσει τις περιττές μετακινήσεις δεδομένων. Μεταξύ άλλων, η αρχιτεκτονική επιτρέπει στην KV cache που χρησιμοποιείται κατά τη δημιουργία της απάντησης να παραμένει όσο το δυνατόν πιο τοπική.
Η AI βοήθησε στον σχεδιασμό του ίδιου του τσιπ
Η AI έπαιξε άμεσο ρόλο στην ανάπτυξη του Jalapeño. Σύμφωνα με την OpenAI, η ομάδα πέρασε από τον αρχικό σχεδιασμό στο tape-out σε εννέα μήνες. Η AI χρησιμοποιήθηκε για την εξέταση επιλογών υλοποίησης, τη βελτιστοποίηση αριθμητικών blocks και την επιτάχυνση των κύκλων επαλήθευσης και μετρήσεων.
Η ομάδα χρησιμοποίησε αργότερα το Codex μαζί με το GPT-Astra για να βελτιστοποιήσει το τσιπ για τρία μοντέλα open-weight που δεν ήταν μέρος του αρχικού σχεδίου παραγωγής. Η εργασία διήρκεσε δύο μήνες. Σε επιλεγμένα blocks attention και mixture-of-experts του GPT-OSS, υλοποιήσεις που δημιουργήθηκαν από AI εκτελούνταν 1.5-1.8 φορές ταχύτερα από τις προηγούμενες εκδόσεις που είχαν γραφτεί από ειδικούς.
Υπάρχει μια σημαντική επιφύλαξη: αυτό το κέρδος απόδοσης ισχύει για επιλεγμένα υπολογιστικά blocks, όχι για το μοντέλο GPT-OSS στο σύνολό του.
Το πρόβλημα της NVIDIA δεν είναι ακόμη το Jalapeño, αλλά η τάση που βρίσκεται πίσω του
Ένα και μόνο εξειδικευμένο τσιπ δεν θα αναδιαμορφώσει την αγορά hardware AI από τη μια μέρα στην άλλη. Το πλεονέκτημα της NVIDIA δεν βρίσκεται μόνο στην ακατέργαστη υπολογιστική απόδοση του GB200 ή του GB300, αλλά και στο οικοσύστημα λογισμικού CUDA, τη δικτύωση, την αρχιτεκτονική διακομιστών και τη δυνατότητα χρήσης της ίδιας πλατφόρμας σε ένα ευρύ φάσμα μοντέλων και workloads.
Η σημασία του Jalapeño βρίσκεται αλλού. Η OpenAI γνωρίζει ακριβώς ποια workloads παράγουν οι δικές της υπηρεσίες και μπορεί να βελτιστοποιεί το hardware γύρω από αυτά. Η Google, η Amazon και άλλες μεγάλες εταιρείες cloud ακολουθούν την ίδια λογική εδώ και χρόνια. Η είσοδος της OpenAI στην αγορά με το δικό της τσιπ προσθέτει περαιτέρω πίεση για να γίνει η υπολογιστική ισχύς AI φθηνότερη και πιο ενεργειακά αποδοτική.
Η OpenAI σχεδιάζει να αναπτύξει το Jalapeño στη δική της υπολογιστική υποδομή έως το τέλος του 2026. Ένα τσιπ δεύτερης γενιάς βρίσκεται ήδη σε προχωρημένη ανάπτυξη, ενώ η αρχιτεκτονική μιας τρίτης γενιάς παίρνει μορφή.
Η ενεργειακή απόδοση είναι ιδιαίτερα σημαντική για την Ευρώπη. Η ανάπτυξη των κέντρων δεδομένων AI σημαίνει άμεσο ανταγωνισμό για ηλεκτρική ισχύ και συνδέσεις με το δίκτυο. Εάν τα εξειδικευμένα τσιπ inference μπορούν πράγματι να προσφέρουν σημαντικά περισσότερη χρήσιμη εργασία ανά kilowatt, ο οικονομικός τους αντίκτυπος θα μπορούσε να αποδειχθεί σημαντικότερος από οποιαδήποτε μεμονωμένη νίκη σε benchmark απέναντι στη NVIDIA.
Το Jalapeño δεν ανταγωνίζεται τα τσιπ εκπαίδευσης
Πρόκειται για το πρώτο εσωτερικά σχεδιασμένο τσιπ inference της OpenAI, πράγμα που σημαίνει ότι έχει βελτιστοποιηθεί κυρίως για την εκτέλεση μοντέλων που έχουν ήδη εκπαιδευτεί, αντί για την εκπαίδευση νέων μεγάλων μοντέλων από την αρχή. Η εταιρεία θα συνεχίσει να χρησιμοποιεί επιταχυντές από τη NVIDIA και άλλους συνεργάτες τόσο για εκπαίδευση όσο και για inference.
Η OpenAI χρησιμοποίησε το δημόσιο benchmark InferenceX και δοκίμασε τρία μοντέλα: GPT-OSS 120B, DeepSeek R1 670B και Kimi K2.5 1T. Τα GB200 και GB300 της NVIDIA χρησιμοποιήθηκαν ως συστήματα σύγκρισης.
Με το GPT-OSS 120B, το Jalapeño πέτυχε μέγιστη απόδοση 85,448 tokens εισόδου και εξόδου ανά δευτερόλεπτο ανά kilowatt, σε σύγκριση με 44,960 για το GB200. Αυτό δίνει στο Jalapeño πλεονέκτημα περίπου 1.9 φορές. Η καθυστέρηση ερωτήματος από άκρο σε άκρο ήταν 1.03 δευτερόλεπτα έναντι 1.80 δευτερολέπτων αντίστοιχα.
Το DeepSeek R1 παρήγαγε ακόμη μεγαλύτερη διαφορά στην καθυστέρηση. Το Jalapeño ολοκλήρωσε το ερώτημα σε 1.65 δευτερόλεπτα, ενώ το GB300 χρειάστηκε 5.99 δευτερόλεπτα. Η μέγιστη απόδοση ανά μονάδα ισχύος έφτασε τα 19,641 tokens εισόδου και εξόδου ανά δευτερόλεπτο ανά kilowatt στο Jalapeño και τα 11,781 στο GB300. Με το Kimi K2.5, η OpenAI μέτρησε περίπου 1.5 φορές υψηλότερη μέγιστη απόδοση ανά μονάδα ισχύος και 3.4 φορές χαμηλότερη συνολική καθυστέρηση για το Jalapeño.
Αυτές είναι οι μετρήσεις της ίδιας της OpenAI και όχι αποτελέσματα από ανεξάρτητο εργαστήριο. Τα στοιχεία ενεργειακής απόδοσης πρέπει επίσης να διαβαστούν στο πλαίσιο της μεθοδολογίας. Η OpenAI κανονικοποίησε τα αποτελέσματα χρησιμοποιώντας τη δημοσιευμένη ονομαστική ισχύ των επιταχυντών, αντί να μετρήσει την πραγματική κατανάλωση ισχύος κάθε ανταγωνιστικού συστήματος υπό πανομοιότυπες συνθήκες.
Το τσιπ των 700 W δεν κατανάλωσε πάνω από 550 W στις δοκιμές
Το Jalapeño έχει ονομαστική ισχύ 700 W. Σύμφωνα με την OpenAI, η πραγματική κατανάλωση ισχύος παρέμεινε στα 550 W ή χαμηλότερα στα workloads που δοκιμάστηκαν. Για τους υπολογισμούς της, η εταιρεία χρησιμοποίησε τη δημοσιευμένη ονομαστική ισχύ της NVIDIA, 1,200 W για το GB200 και 1,400 W για το GB300.
Η εργασία που αποδίδεται ανά μονάδα ισχύος γίνεται ολοένα σημαντικότερη στα μεγάλα κέντρα δεδομένων AI. Η ηλεκτρική ισχύς, η ψύξη και οι συνδέσεις με το δίκτυο μπορούν να περιορίσουν την ανάπτυξη των συστοιχιών διακομιστών εξίσου με τη διαθεσιμότητα των τσιπ. Εάν μπορούν να εξυπηρετηθούν περισσότερα ερωτήματα από κάθε kilowatt, το κόστος υποδομής ανά παραγόμενο token ή αίτημα χρήστη μειώνεται.
Η αρχιτεκτονική του Jalapeño είναι σχεδιασμένη γύρω από τις διαφορετικές φάσεις του inference γλωσσικών μοντέλων. Η αρχική επεξεργασία εισόδου, ή prefill, απαιτεί κυρίως υπολογιστική ισχύ. Η δημιουργία της απάντησης token προς token, ή decode, εξαρτάται περισσότερο από το εύρος ζώνης μνήμης. Χρόνος καταναλώνεται επίσης για τη μετακίνηση δεδομένων και της κατάστασης του μοντέλου μεταξύ τσιπ και υπολογιστικών μονάδων.
Η OpenAI σχεδίασε τον επεξεργαστή, τη μνήμη, το δίκτυο και το λογισμικό ως ένα ενιαίο ολοκληρωμένο σύστημα, προκειμένου να μειώσει τις περιττές μετακινήσεις δεδομένων. Μεταξύ άλλων, η αρχιτεκτονική επιτρέπει στην KV cache που χρησιμοποιείται κατά τη δημιουργία της απάντησης να παραμένει όσο το δυνατόν πιο τοπική.
Η AI βοήθησε στον σχεδιασμό του ίδιου του τσιπ
Η AI έπαιξε άμεσο ρόλο στην ανάπτυξη του Jalapeño. Σύμφωνα με την OpenAI, η ομάδα πέρασε από τον αρχικό σχεδιασμό στο tape-out σε εννέα μήνες. Η AI χρησιμοποιήθηκε για την εξέταση επιλογών υλοποίησης, τη βελτιστοποίηση αριθμητικών blocks και την επιτάχυνση των κύκλων επαλήθευσης και μετρήσεων.
Η ομάδα χρησιμοποίησε αργότερα το Codex μαζί με το GPT-Astra για να βελτιστοποιήσει το τσιπ για τρία μοντέλα open-weight που δεν ήταν μέρος του αρχικού σχεδίου παραγωγής. Η εργασία διήρκεσε δύο μήνες. Σε επιλεγμένα blocks attention και mixture-of-experts του GPT-OSS, υλοποιήσεις που δημιουργήθηκαν από AI εκτελούνταν 1.5-1.8 φορές ταχύτερα από τις προηγούμενες εκδόσεις που είχαν γραφτεί από ειδικούς.
Υπάρχει μια σημαντική επιφύλαξη: αυτό το κέρδος απόδοσης ισχύει για επιλεγμένα υπολογιστικά blocks, όχι για το μοντέλο GPT-OSS στο σύνολό του.
Το πρόβλημα της NVIDIA δεν είναι ακόμη το Jalapeño, αλλά η τάση που βρίσκεται πίσω του
Ένα και μόνο εξειδικευμένο τσιπ δεν θα αναδιαμορφώσει την αγορά hardware AI από τη μια μέρα στην άλλη. Το πλεονέκτημα της NVIDIA δεν βρίσκεται μόνο στην ακατέργαστη υπολογιστική απόδοση του GB200 ή του GB300, αλλά και στο οικοσύστημα λογισμικού CUDA, τη δικτύωση, την αρχιτεκτονική διακομιστών και τη δυνατότητα χρήσης της ίδιας πλατφόρμας σε ένα ευρύ φάσμα μοντέλων και workloads.
Η σημασία του Jalapeño βρίσκεται αλλού. Η OpenAI γνωρίζει ακριβώς ποια workloads παράγουν οι δικές της υπηρεσίες και μπορεί να βελτιστοποιεί το hardware γύρω από αυτά. Η Google, η Amazon και άλλες μεγάλες εταιρείες cloud ακολουθούν την ίδια λογική εδώ και χρόνια. Η είσοδος της OpenAI στην αγορά με το δικό της τσιπ προσθέτει περαιτέρω πίεση για να γίνει η υπολογιστική ισχύς AI φθηνότερη και πιο ενεργειακά αποδοτική.
Η OpenAI σχεδιάζει να αναπτύξει το Jalapeño στη δική της υπολογιστική υποδομή έως το τέλος του 2026. Ένα τσιπ δεύτερης γενιάς βρίσκεται ήδη σε προχωρημένη ανάπτυξη, ενώ η αρχιτεκτονική μιας τρίτης γενιάς παίρνει μορφή.
Η ενεργειακή απόδοση είναι ιδιαίτερα σημαντική για την Ευρώπη. Η ανάπτυξη των κέντρων δεδομένων AI σημαίνει άμεσο ανταγωνισμό για ηλεκτρική ισχύ και συνδέσεις με το δίκτυο. Εάν τα εξειδικευμένα τσιπ inference μπορούν πράγματι να προσφέρουν σημαντικά περισσότερη χρήσιμη εργασία ανά kilowatt, ο οικονομικός τους αντίκτυπος θα μπορούσε να αποδειχθεί σημαντικότερος από οποιαδήποτε μεμονωμένη νίκη σε benchmark απέναντι στη NVIDIA.
