B200 SXM 192GB — Hyperstack flavor

Specifiche spiegate

Utilizzato per AI training, inference e HPC

1. 01192 GB di memoria HBM3E

   VRAM

   192 GB

   Tipo di memoria

   HBM3E

   Larghezza di banda della memoria

   8 TB/s

   L’HBM (High Bandwidth Memory) è impilata a strati e si trova accanto al processore, nello stesso package. Questo percorso breve e ampio è ciò che dà agli acceleratori con HBM la loro larghezza di banda di memoria, per cui di solito vengono scelti per i carichi limitati dalla velocità con cui i dati raggiungono i core, come l’inferenza di modelli di grandi dimensioni e la simulazione HPC.

   La VRAM è lo spazio di lavoro sulla scheda. Pesi del modello, attivazioni e dataset devono entrarci, oppure essere suddivisi su più GPU. Regola empirica per i soli pesi con precisione a 16 bit (circa 2 GB per miliardo di parametri): fino a circa 96 miliardi di parametri, prima di attivazioni e cache. È un calcolo aritmetico sulla VRAM registrata, non un benchmark.

2. 02Architettura Blackwell

   Architettura

   Blackwell

   Anno di lancio

   2024

   Stato del ciclo di vita

   Current

   Blackwell ha aggiunto i Tensor Core di quinta generazione e il supporto per formati a precisione ridotta fino a FP4. (Contesto generale sull’architettura, non un’affermazione su questa scheda specifica.)

   Lanciato nel 2024. I record di Kovara lo indicano come un componente di generazione attuale.

3. 03Progettato per scalare su più GPU

   NVLink

   Supportato

   MIG

   Supportato

   Form factor

   SXM

   TDP

   1000 W

   NVLink è un collegamento diretto da GPU a GPU. Dove è supportato, le GPU dello stesso server possono scambiarsi dati più velocemente che con il solo PCIe, un aspetto importante quando un singolo job di training è distribuito su più GPU.

   La Multi-Instance GPU (MIG) può suddividere una GPU fisica in porzioni isolate, ciascuna con la propria memoria e la propria capacità di calcolo, così che più carichi di lavoro più piccoli possano condividere una scheda.

   I moduli SXM sono montati direttamente sulla baseboard di un server anziché inseriti come schede, il layout tipico dei server multi-GPU ad alta densità.

   Il TDP è la potenza termica di progetto nominale: il valore di riferimento per l’alimentazione e il raffreddamento in un server.

4. 04A cosa serve

   Utilizzo principale (registrato)

   AI training / inference / HPC

   Questi sono gli utilizzi che Kovara ha registrato per questo componente. Le note spiegano il carico di lavoro in termini generali; non sono dichiarazioni sulle prestazioni.

   • AI trainingL’addestramento di un modello a partire dai dati. Di solito la fase più esigente in termini di capacità di calcolo e di memoria, spesso distribuita su molte GPU.
   • inferenceL’esecuzione di un modello addestrato per rispondere alle richieste. Le preoccupazioni abituali sono la capacità di memoria, la latenza e il costo per richiesta.
   • HPCSimulazione scientifica e ingegneristica, dove contano la precisione numerica e la larghezza di banda della memoria.

Le cifre sono dati anagrafici di Kovara, ultima verifica: 23 set 2026. Le spiegazioni descrivono la tecnologia in generale; non sono benchmark e non dicono nulla su prezzo o disponibilità.