Instinct MI300X 192GB

Spezifikationen erklärt

Eingesetzt für AI training, inference und HPC

1. 01192 GB HBM3-Speicher

   VRAM

   192 GB

   Speichertyp

   HBM3

   Speicherbandbreite

   5.3 TB/s

   HBM (High Bandwidth Memory) wird in Schichten gestapelt und sitzt unmittelbar neben dem Prozessor auf demselben Package. Dieser kurze, breite Pfad verleiht Beschleunigern mit HBM ihre Speicherbandbreite, weshalb sie üblicherweise für Aufgaben gewählt werden, die davon begrenzt werden, wie schnell Daten die Kerne erreichen, etwa die Inferenz großer Modelle und die HPC-Simulation.

   VRAM ist der Arbeitsspeicher auf der Karte. Modellgewichte, Aktivierungen und Datensätze müssen darin Platz finden oder auf mehrere GPUs verteilt werden. Faustregel allein für die Gewichte bei 16-Bit-Genauigkeit (etwa 2 GB pro Milliarde Parameter): bis zu etwa 96 Milliarden Parameter, vor Aktivierungen und Cache. Das ist eine Rechnung auf Basis des erfassten VRAM, kein Benchmark.

2. 02CDNA 3-Architektur

   Architektur

   CDNA 3

   Generation

   Instinct MI300

   Einführungsjahr

   2023

   Lebenszyklusstatus

   Previous

   CDNA 3 nutzt ein Chiplet-Design, bei dem gestapelter HBM-Speicher neben den Rechen-Dies auf einem Package sitzt. (Allgemeiner Kontext zur Architektur, keine Aussage über diese konkrete Karte.)

   Im Jahr 2023 eingeführt. Die Datensätze von Kovara führen es als Komponente der Vorgängergeneration.

3. 03Formfaktor und Leistung

   Formfaktor

   OAM Module

   TDP

   750 W

   Beschleunigermodule werden auf einer Trägerplatine montiert statt als Karten eingesteckt; das ist das Layout, das für dicht bestückte Server mit mehreren Beschleunigern verwendet wird.

   TDP ist die nominelle Thermal Design Power: der Planungswert für Stromversorgung und Kühlung in einem Server.

4. 04Wofür es eingesetzt wird

   Hauptverwendung (erfasst)

   AI training / inference / HPC

   Dies sind die Verwendungszwecke, die Kovara für diese Komponente erfasst hat. Die Hinweise erläutern den Workload allgemein; sie sind keine Leistungsaussagen.

   • AI trainingDas Trainieren eines Modells mit Daten. In der Regel die Phase mit dem größten Bedarf an Rechenleistung und Speicher, oft auf viele GPUs verteilt.
   • inferenceDas Ausführen eines trainierten Modells, um Anfragen zu beantworten. Üblicherweise stehen Speicherkapazität, Latenz und Kosten pro Anfrage im Vordergrund.
   • HPCWissenschaftliche und technische Simulation, bei der numerische Genauigkeit und Speicherbandbreite zählen.

Die Zahlen sind Kovara-Stammdaten, zuletzt verifiziert am 03. Sept. 2026. Die Erläuterungen beschreiben die Technologie allgemein; sie sind keine Benchmarks und sagen nichts über Preis oder Verfügbarkeit aus.