H100 SXM

Specifiche spiegate

Utilizzato per AI Training, AI Inference e HPC

1. 0180 GB di memoria HBM3

   VRAM

   80 GB

   Tipo di memoria

   HBM3

   Larghezza di banda della memoria

   3.35 TB/s

   L’HBM (High Bandwidth Memory) è impilata a strati e si trova accanto al processore, nello stesso package. Questo percorso breve e ampio è ciò che dà agli acceleratori con HBM la loro larghezza di banda di memoria, per cui di solito vengono scelti per i carichi limitati dalla velocità con cui i dati raggiungono i core, come l’inferenza di modelli di grandi dimensioni e la simulazione HPC.

   La VRAM è lo spazio di lavoro sulla scheda. Pesi del modello, attivazioni e dataset devono entrarci, oppure essere suddivisi su più GPU. Regola empirica per i soli pesi con precisione a 16 bit (circa 2 GB per miliardo di parametri): fino a circa 40 miliardi di parametri, prima di attivazioni e cache. È un calcolo aritmetico sulla VRAM registrata, non un benchmark.

2. 02Architettura Hopper

   Architettura

   Hopper

   Anno di lancio

   2022

   Stato del ciclo di vita

   Previous Generation

   Hopper ha aggiunto il Transformer Engine, che combina calcolo FP8 e a 16 bit per i modelli transformer, e i Tensor Core di quarta generazione. (Contesto generale sull’architettura, non un’affermazione su questa scheda specifica.)

   Lanciato nel 2022. I record di Kovara lo indicano come un componente della generazione precedente.

3. 03Progettato per scalare su più GPU

   NVLink

   Supportato

   MIG

   Supportato

   Form factor

   SXM

   TDP

   700 W

   NVLink è un collegamento diretto da GPU a GPU. Dove è supportato, le GPU dello stesso server possono scambiarsi dati più velocemente che con il solo PCIe, un aspetto importante quando un singolo job di training è distribuito su più GPU.

   La Multi-Instance GPU (MIG) può suddividere una GPU fisica in porzioni isolate, ciascuna con la propria memoria e la propria capacità di calcolo, così che più carichi di lavoro più piccoli possano condividere una scheda.

   I moduli SXM sono montati direttamente sulla baseboard di un server anziché inseriti come schede, il layout tipico dei server multi-GPU ad alta densità.

   Il TDP è la potenza termica di progetto nominale: il valore di riferimento per l’alimentazione e il raffreddamento in un server.

4. 04A cosa serve

   Utilizzo principale (registrato)

   AI Training, AI Inference, HPC

   Questi sono gli utilizzi che Kovara ha registrato per questo componente. Le note spiegano il carico di lavoro in termini generali; non sono dichiarazioni sulle prestazioni.

   • AI TrainingL’addestramento di un modello a partire dai dati. Di solito la fase più esigente in termini di capacità di calcolo e di memoria, spesso distribuita su molte GPU.
   • AI InferenceL’esecuzione di un modello addestrato per rispondere alle richieste. Le preoccupazioni abituali sono la capacità di memoria, la latenza e il costo per richiesta.
   • HPCSimulazione scientifica e ingegneristica, dove contano la precisione numerica e la larghezza di banda della memoria.

Le cifre sono dati anagrafici di Kovara, ultima verifica: 30 ago 2026. Le spiegazioni descrivono la tecnologia in generale; non sono benchmark e non dicono nulla su prezzo o disponibilità.