• NVHBM verlagert den Speichercontroller in den HBM-Base-Die und ersetzt den JEDEC-Bus durch eine proprietäre Die-to-Die-Verbindung. NVIDIA entwickelt diese Schicht. Die drei großen Speicherhersteller fertigen sie nach Vorgabe.
  • Die Architektur selbst ist nicht neu. Marvell hatte bereits im Dezember 2024 ein vergleichbares Konzept spezifiziert und später detaillierter beschrieben. Was NVIDIA gegenüber Marvell voraus hat, ist ein namentlich genannter Kunde: Annapurna mit Trainium4 – und ein Rack-Standard, an den sich das Ganze anbinden lässt.
  • Fünf Tage später übernahm MediaTek NVLink Fusion und kündigte an, die Technologie auch seinen eigenen XPU-Kunden anzubieten – flankiert von 3,5 Milliarden US-Dollar NVIDIA-Kapital. Damit wurde NVHBM aus einer Architektur mit einem Kunden zu einer Plattform mit einem Vertriebskanal.
  • Lediglich die behauptete Reduktion der PHY-Fläche um 67 % lässt sich aus öffentlich überprüfbaren Angaben ableiten – und zwar aus der Zahl der Pins. Die Angaben zu Bandbreite, Fläche und Performance werden gegenüber HBM4E normalisiert, das noch nicht ausgeliefert wird. Eine belastbare Vergleichsbasis wurde nicht offengelegt.
  • Der kommerzielle Kern liegt im Dollar-Content. NVIDIA kann nun Fabric, Rack, Systemdesign, Software und das Memory-Subsystem in ein kundenspezifisches Accelerator-Programm einbringen, ohne den Accelerator selbst bauen zu müssen. MediaTek wiederum trägt die Plattform zu Kunden, die NVIDIA nicht direkt erreicht.
  • Broadcom wird dadurch gleichzeitig getroffen und unterstützt. NVIDIA dringt nun in dessen Geschäftsfeld vor, und Broadcom hat keine eigene Antwort auf der Base-Die-Ebene. Mit Marvell auf NVLink Fusion und MediaTek als Vertriebskanal ist Broadcom zugleich das einzige große Designhaus, das nicht bereits mit NVIDIA verbunden ist.

 

Am 26. August erweiterte NVIDIA NVLink Fusion um NVHBM, eine kundenspezifische High-Bandwidth-Memory-Technologie, die auf einem proprietären Base Die und einer proprietären Schnittstelle basiert. NVIDIA entwickelt beides, fertigt es aber nicht selbst. Amazons Annapurna Labs ist der erste namentlich genannte Partner; den Anfang macht Trainium4. Der Base Die soll von den „Big Three“ Memory-Herstellern nach einer einheitlichen NVIDIA-Spezifikation gefertigt werden, die Memory-Controller, Interface und Link-Protokoll umfasst. Keiner der drei Hersteller wurde bislang namentlich genannt.

Der entscheidende Unterschied liegt darin, wo der Controller sitzt. Bei konventionellem HBM befindet sich der Memory-Controller auf dem Accelerator-Die. NVHBM verlagert ihn in den Base Die des 3D-DRAM-Stacks und ersetzt den breiten parallelen JEDEC-Bus durch eine schmalere serialisierte Verbindung.

Architektonisch ist das ein echter Schritt nach vorn. Das eigentliche Ziel ist jedoch kommerzieller Natur: NVIDIA will seinen Einfluss auf das XPU-Segment des Marktes ausdehnen. Der Base Die wird zunehmend zum Ort, an dem sich Accelerator-Architekturen differenzieren – und wer diese Ebene kontrolliert, kontrolliert auch die Plattform, die darum herum entsteht.

NVHBM ist daher im Kern kein neues Speicherprodukt. Es ist NVIDIA, das dieselbe Art von Custom-Silicon-Engagement verkauft, auf der Broadcom und Marvell ihre Accelerator-Geschäfte aufgebaut haben. Alles rund um den Compute Die – also genau der Teil, auf dessen Besitz die Hyperscaler bestehen.

 

Wo der Controller sitzt

HBM war schon immer ein Kompromiss zwischen zwei Dies, die unterschiedlichen Unternehmen gehören. Der DRAM-Hersteller liefert den Stack samt Base Die, der Accelerator-Entwickler den Controller und die PHY. JEDEC standardisiert die Schnittstelle zwischen beiden – und der Preis dieser Standardisierung ist ein extrem breites, vergleichsweise langsames Interface. HBM4 arbeitet über mehr als zweitausend Signalpins hinweg mit 32 64-Bit-Kanälen.

NVHBM löst diese Trennlinie auf. Wenn sich der Controller im Base Die befindet, muss die Verbindung zwischen Logic und Memory nicht länger einem JEDEC-konformen Memory Bus entsprechen. Stattdessen wird sie zu einer dedizierten Die-to-Die-Schnittstelle, die NVIDIA auf Geschwindigkeit statt auf Interoperabilität optimieren kann. NVIDIA kontrolliert damit das Design dieser gesamten Schicht. Der Speicherhersteller baut sie lediglich nach Vorgabe.

Standard-HBM4E im Vergleich zum NVIDIA-NVHBM-Design

Quelle: Counterpoint Research, basierend auf NVIDIA-Angaben, August 2026.

Als dritter Teil der Serie „The Trillion Dollar Bottleneck“ haben die ersten beiden Beiträge untersucht, wie die Industrie die Memory Wall durch neue Strukturen und Packaging angreift – Intels XBM und ZAM im Wettbewerb mit TSMC CoWoS sowie Qualcomms HBC. Dieser Beitrag ist anders: NVIDIA verkauft jetzt Memory-Architektur an diejenigen, die Alternativen zu seinen GPUs entwickeln. Die Technologie ist nicht neu. Die Distribution ist es.

Den vollständigen Bericht lesen: The $Trillion Bottleneck: NVIDIA’s NVHBM and the Fight for the Base Die

Ein Cloud-AI-Briefing aus unserem Live-Webinar erhalten: Cloud AI – Trillion-Dollar Infrastructure, Companies & Compute Trends