LONDON (IT BOLTWISE) – OpenAI zeigt mit „Jalapeño“ einen Inferenz-ASIC, der explizit auf hohe Tokens pro Watt und niedrige Latenzen ausgelegt ist. Laut der vorliegenden Benchmark-Einordnung erreicht der Chip bei Single-Token-Prediction besonders starke Durchsätze. OpenAI arbeitet dabei mit eng verzahntem Hardware-Software-Co-Design und setzt auf eine generalisierte Inferenzplattform statt auf eine eng zugeschnittene Lösung. Unklar bleibt vorerst, wie stark sich die Vorteile in längeren Multi-Turn-Workloads und im Agentic-Serving tatsächlich ausprägen.
OpenAI treibt die KI-Infrastruktur nicht nur über neue Modelle, sondern auch über eigene Hardware voran: Mit „Jalapeño“ steht auf Hot Chips ein Inferenz-ASIC im Fokus, dessen Zweck deutlich formuliert ist – schnellere Antwortzeiten und vor allem effiziente Umwandlung von Rechenleistung in Tokens, gemessen als Tokens pro Watt. Entscheidend ist dabei nicht, ob der Chip auf eine konkrete Modellfamilie optimiert wurde, sondern wie konsequent OpenAI die Systemeffizienz adressiert. In der Darstellung geht es um eine Generalisierung für LLM-Inferenz, die unterschiedliche Modell- und Workload-Profile abdecken soll, einschließlich der Benchmarks aus einem Inferenz-Suite-Setup, bei dem die Runs im Labor begleitet wurden.
Technisch fällt sofort auf, wie stark Jalapeño auf Speicherbandbreite und eng getaktete Ausführung getrimmt wirkt. OpenAI setzt auf HBM4, und der Text ordnet die resultierende Speicherbandbreite pro Package mit 15,4TB/s ein. Ergänzend wird beschrieben, dass Jalapeño seine Architektur bewusst ohne Vorab-Aufteilung in dedizierte Prefill- und Decode-Pools (PD) gestaltet: Das Draft-Modell und das Hauptmodell teilen sich die gleichen Chips und die gleiche Fabric. Die Logik dahinter lautet, dass sich das Verhältnis zwischen Eingabetoken, Cache-Schreiben, Cache-Lesen und Output-Tokens über die „Epochen“ von Modellgenerationen hinweg verschiebt und Produktionsmixes schwer planbar bleiben – ein fester heterogener Split würde dann langfristig in ineffiziente Phasen laufen.
Bei der Performance verlagert sich die Diskussion auf den Engpass der Datacenter: Power. Laut der vorliegenden Argumentation ist das Rechenzentrum heute typischerweise durch verfügbare MW limitiert, nicht durch Stellfläche oder Budget für zusätzliche Hardware. Deshalb werden in der Einordnung Kennzahlen wie Token-Throughput pro All-in Utility MW und insbesondere perf/W in den Vordergrund gestellt. In den getesteten Szenarien soll Jalapeño ohne Multi Token Prediction (MTP) aufschlagen, während Vergleichskonfigurationen der anderen Chips im Diagramm die jeweils beste MTP-Variante nutzen. Der Text behauptet zudem, dass Jalapeño in niedrigen Concurrency-Szenarien „interaktiv“ wirkt und bei Concurrency 1 über 700 Tokens pro Sekunde und Nutzer auf dem DeepSeek R1-Modell erreicht. Gleichzeitig wird betont, dass das Ergebnis mit Single-Token Prediction (STP) zustande kommt – ohne speculative decoding und ohne prefill-decode Disaggregation.
So überzeugend die Zahlen im Test-Setup wirken, der Text setzt auch klare Rahmenbedingungen: Die Werte werden „von OpenAI bereitgestellt“, und zwar mit In-Lab-Verifizierung der InferenceX-Läufe, aber ohne eine komplette Abarbeitung der InferenceX-Breite und ohne AgentX-Ergebnisse. AgentX gilt als bevorzugte Vergleichssuite, weil sie längere Kontexte und Multi-Turn-Charakteristika spiegelt und damit stärker auf Teile des Serving-Stacks einzahlt, etwa Router-Entscheidungen, Prefix-Cache-Verhalten, Cache-Management und weitere Offload-Mechanismen. Genau dort wird erwartet, dass sich Unterschiede zwischen „leicht zu tunenden“ 8k1k-Workloads und echten agentischen Workloads deutlicher zeigen. Außerdem wird der Vergleich zu bestimmten Referenzchips als „unvollständig“ eingeordnet, weil Jalapeño sich laut Text nicht gegen alles gleiche Timing und Bring-up-Stadien behaupten müsse – insbesondere wird ein Bezug zu Vera Rubin und dessen HBM4-basierten Systemen als fairere Vergleichsfolie empfohlen.
Der Text geht anschließend sehr tief auf die Ausführungs- und Programmierlogik ein, weil genau hier OpenAI offenbar seine größte Hebelwirkung im Hardware-Software-Co-Design sieht. Jalapeño soll mit einer Gewicht-stationären Systolic-Array-Logik arbeiten, mit MXFP4-Formaten im Matrix-Engine-Teil und zusätzlich 64-bit Scalar Cores sowie FP32/INT32 Vector Cores. Bei der Kernidee stehen außerdem Redundanz und Yield-Harvesting auf Tray- und Core-/Channel-Ebene sowie eine optimierte NoC- und Speicherhierarchie im Vordergrund: Durch eine Aufteilung der Cores und des HBM in „Slices“ soll jede Core-Slice eine lokale, niederlatente Sicht auf seinen HBM-Bereich erhalten, während Synchronisation zwischen Slices über ein dediziertes Kollektivnetzwerk läuft. Das soll Speicherbewegungen von KVCache und Gewichten reduzieren und feste Latenzen sowie Overheads so weit wie möglich eliminieren, um näher an die theoretische roofline zu kommen – vor allem auch bei kleineren Batches oder ungünstigen Shapes.
Damit die Architektur diese theoretischen Vorteile im Alltag wirklich erreicht, setzt OpenAI laut Text auf einen sehr aktiven Softwarepfad. OpenAI beschreibt Kernel, die handgetunt wirken („wie Assembly“), teils mit mehreren Tausend Zeilen, inklusive Korrektheitschecks und einem eigenen Sanitizer. Parallel wird die Entwicklung als pipeline-orientiert dargestellt: Ein interner Codex-Nachbau soll funktionale und effiziente Kernel schnell erzeugen können, ohne dass das Kernel-Engineering-Team permanent manuell eingreifen muss. Programmiert wird über Gluon, eine Kernel-Sprache, die auf Triton aufsetzt, aber mit niedrigeren Abstraktionsebenen arbeitet; besonders hervorgehoben wird die Layout-Abstraktion, die Hardware-Ressourcen mit Tensor-Elementen verknüpft. In der Systemperspektive wird zudem erwähnt, dass das Serving-Engine-Design „Teacup“ als internen Namen trägt und dass OpenAI laut Berichtsgang erst durch ein DeepSeek R1-Benchmarking mit InferenceX echte MLA-Kernel-Arbeiten intern priorisiert habe.
Der letzte Teil adressiert schließlich Zeitplan und Skalierung, weil genau dort der praktische Nutzen für Betreiber entscheidet. Produzierte Einheiten seien als „engineering samples“ verfügbar, während der Ramp bis 2027 schrittweise erfolgen soll, mit einem Großteil der Auslieferung für das Ende des nächsten Jahres. Interessant ist zudem der Hinweis auf B0-Stepping: Es soll ungefähr 25% perf-per-watt Verbesserung gegenüber A0 bringen, wobei 13,4 PFLOPs MXFP4 auf einem Single-Reticle-Compute-Die genannt werden und diese auf Dichte-Parameter eines Rubin-Referenzvergleichs gespiegelt werden. Begleitet wird das von Produktions- und Netzwerkdaten auf Rack-Ebene: Pro Rack sollen 128 ASICs (aus 16 Vindaloo-Trays mit je 8 Jalapeño-ASICs) mit einem Host-Rack mit 16 CPU-Trays („Katsu“) gekoppelt werden, und eine scale-up-Topologie soll lokale Domänen (All-to-all innerhalb des Racks) sowie globale Domänen über mehrere Racks (bis 2.048 XPUs) unterstützen. Wenn die Software- und Serving-Effekte so schnell nachziehen wie im Text behauptet, wäre Jalapeño damit nicht nur ein weiterer Beschleuniger, sondern ein Testfall dafür, ob Frontier-Teams durch streng getriebene Hardware-Software-Kopplung klassische Chip-Ökosysteme wie dominante Programmierschnittstellen entlasten können – zumindest in bestimmten Inferenzdomänen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "OpenAI stellt „Jalapeño“ vor: Inferenz-ASIC mit Fokus auf Tokens pro Watt" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "OpenAI stellt „Jalapeño“ vor: Inferenz-ASIC mit Fokus auf Tokens pro Watt" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »OpenAI stellt „Jalapeño“ vor: Inferenz-ASIC mit Fokus auf Tokens pro Watt« bei Google Deutschland suchen, bei Bing oder Google News!