V100 SXM2 16GB — TensorDock provider label

Spezifikationen erklärt

Eingesetzt für HPC und AI training

1. 0116 GB HBM2-Speicher

   VRAM

   16 GB

   Speichertyp

   HBM2

   Speicherbandbreite

   0.9 TB/s

   HBM (High Bandwidth Memory) wird in Schichten gestapelt und sitzt unmittelbar neben dem Prozessor auf demselben Package. Dieser kurze, breite Pfad verleiht Beschleunigern mit HBM ihre Speicherbandbreite, weshalb sie üblicherweise für Aufgaben gewählt werden, die davon begrenzt werden, wie schnell Daten die Kerne erreichen, etwa die Inferenz großer Modelle und die HPC-Simulation.

   VRAM ist der Arbeitsspeicher auf der Karte. Modellgewichte, Aktivierungen und Datensätze müssen darin Platz finden oder auf mehrere GPUs verteilt werden. Faustregel allein für die Gewichte bei 16-Bit-Genauigkeit (etwa 2 GB pro Milliarde Parameter): bis zu etwa 8 Milliarden Parameter, vor Aktivierungen und Cache. Das ist eine Rechnung auf Basis des erfassten VRAM, kein Benchmark.

2. 02Volta-Architektur

   Architektur

   Volta

   Einführungsjahr

   2017

   Lebenszyklusstatus

   Legacy

   Volta führte Tensor Cores ein, dedizierte Einheiten für Matrixrechnung im Deep Learning. (Allgemeiner Kontext zur Architektur, keine Aussage über diese konkrete Karte.)

   Im Jahr 2017 eingeführt. Die Datensätze von Kovara führen es als Legacy-Komponente.

3. 03Für die Skalierung über mehrere GPUs ausgelegt

   NVLink

   Unterstützt

   MIG

   Nicht unterstützt

   Formfaktor

   SXM2

   TDP

   300 W

   NVLink ist eine direkte GPU-zu-GPU-Verbindung. Wo sie unterstützt wird, können GPUs im selben Server Daten schneller austauschen als allein über PCIe, was relevant ist, wenn ein einzelner Trainingsjob auf mehrere GPUs verteilt wird.

   SXM-Module werden direkt auf einer Trägerplatine des Servers montiert statt als Karten eingesteckt; das ist das Layout, das typischerweise für dicht bestückte Multi-GPU-Server verwendet wird.

   TDP ist die nominelle Thermal Design Power: der Planungswert für Stromversorgung und Kühlung in einem Server.

4. 04Wofür es eingesetzt wird

   Hauptverwendung (erfasst)

   HPC / AI training

   Dies sind die Verwendungszwecke, die Kovara für diese Komponente erfasst hat. Die Hinweise erläutern den Workload allgemein; sie sind keine Leistungsaussagen.

   • HPCWissenschaftliche und technische Simulation, bei der numerische Genauigkeit und Speicherbandbreite zählen.
   • AI trainingDas Trainieren eines Modells mit Daten. In der Regel die Phase mit dem größten Bedarf an Rechenleistung und Speicher, oft auf viele GPUs verteilt.

Die Zahlen sind Kovara-Stammdaten, zuletzt verifiziert am 25. Sept. 2026. Die Erläuterungen beschreiben die Technologie allgemein; sie sind keine Benchmarks und sagen nichts über Preis oder Verfügbarkeit aus.