H20 96GB

Specifiche spiegate

Utilizzato per AI inference, training e China-market AI compute

1. 0196 GB di memoria HBM3

   VRAM

   96 GB

   Tipo di memoria

   HBM3

   Larghezza di banda della memoria

   4 TB/s

   L’HBM (High Bandwidth Memory) è impilata a strati e si trova accanto al processore, nello stesso package. Questo percorso breve e ampio è ciò che dà agli acceleratori con HBM la loro larghezza di banda di memoria, per cui di solito vengono scelti per i carichi limitati dalla velocità con cui i dati raggiungono i core, come l’inferenza di modelli di grandi dimensioni e la simulazione HPC.

   La VRAM è lo spazio di lavoro sulla scheda. Pesi del modello, attivazioni e dataset devono entrarci, oppure essere suddivisi su più GPU. Regola empirica per i soli pesi con precisione a 16 bit (circa 2 GB per miliardo di parametri): fino a circa 48 miliardi di parametri, prima di attivazioni e cache. È un calcolo aritmetico sulla VRAM registrata, non un benchmark.

2. 02Architettura Hopper

   Architettura

   Hopper

   Anno di lancio

   2024

   Stato del ciclo di vita

   Current

   Hopper ha aggiunto il Transformer Engine, che combina calcolo FP8 e a 16 bit per i modelli transformer, e i Tensor Core di quarta generazione. (Contesto generale sull’architettura, non un’affermazione su questa scheda specifica.)

   Lanciato nel 2024. I record di Kovara lo indicano come un componente di generazione attuale.

3. 03Progettato per scalare su più GPU

   NVLink

   Supportato

   MIG

   Supportato

   Form factor

   HGX SXM5 / 8-GPU platform

   TDP

   400 W

   NVLink è un collegamento diretto da GPU a GPU. Dove è supportato, le GPU dello stesso server possono scambiarsi dati più velocemente che con il solo PCIe, un aspetto importante quando un singolo job di training è distribuito su più GPU.

   La Multi-Instance GPU (MIG) può suddividere una GPU fisica in porzioni isolate, ciascuna con la propria memoria e la propria capacità di calcolo, così che più carichi di lavoro più piccoli possano condividere una scheda.

   I moduli SXM sono montati direttamente sulla baseboard di un server anziché inseriti come schede, il layout tipico dei server multi-GPU ad alta densità.

   Il TDP è la potenza termica di progetto nominale: il valore di riferimento per l’alimentazione e il raffreddamento in un server.

4. 04A cosa serve

   Utilizzo principale (registrato)

   AI inference / training / China-market AI compute

   Questi sono gli utilizzi che Kovara ha registrato per questo componente. Le note spiegano il carico di lavoro in termini generali; non sono dichiarazioni sulle prestazioni.

   • AI inferenceL’esecuzione di un modello addestrato per rispondere alle richieste. Le preoccupazioni abituali sono la capacità di memoria, la latenza e il costo per richiesta.
   • trainingL’addestramento di un modello a partire dai dati. Di solito la fase più esigente in termini di capacità di calcolo e di memoria, spesso distribuita su molte GPU.
   • China-market AI compute

Le cifre sono dati anagrafici di Kovara, ultima verifica: 03 set 2026. Le spiegazioni descrivono la tecnologia in generale; non sono benchmark e non dicono nulla su prezzo o disponibilità.