H100 NVLink 80GB — Hyperstack flavor

Specifiche spiegate

Utilizzato per AI training, inference e HPC

1. 0180 GB di memoria

   VRAM

   80 GB

   La VRAM è lo spazio di lavoro sulla scheda. Pesi del modello, attivazioni e dataset devono entrarci, oppure essere suddivisi su più GPU. Regola empirica per i soli pesi con precisione a 16 bit (circa 2 GB per miliardo di parametri): fino a circa 40 miliardi di parametri, prima di attivazioni e cache. È un calcolo aritmetico sulla VRAM registrata, non un benchmark.

2. 02Architettura Hopper

   Architettura

   Hopper

   Anno di lancio

   2022

   Stato del ciclo di vita

   Previous

   Hopper ha aggiunto il Transformer Engine, che combina calcolo FP8 e a 16 bit per i modelli transformer, e i Tensor Core di quarta generazione. (Contesto generale sull’architettura, non un’affermazione su questa scheda specifica.)

   Lanciato nel 2022. I record di Kovara lo indicano come un componente della generazione precedente.

3. 03Progettato per scalare su più GPU

   NVLink

   Supportato

   MIG

   Supportato

   NVLink è un collegamento diretto da GPU a GPU. Dove è supportato, le GPU dello stesso server possono scambiarsi dati più velocemente che con il solo PCIe, un aspetto importante quando un singolo job di training è distribuito su più GPU.

   La Multi-Instance GPU (MIG) può suddividere una GPU fisica in porzioni isolate, ciascuna con la propria memoria e la propria capacità di calcolo, così che più carichi di lavoro più piccoli possano condividere una scheda.

4. 04A cosa serve

   Utilizzo principale (registrato)

   AI training / inference / HPC

   Questi sono gli utilizzi che Kovara ha registrato per questo componente. Le note spiegano il carico di lavoro in termini generali; non sono dichiarazioni sulle prestazioni.

   • AI trainingL’addestramento di un modello a partire dai dati. Di solito la fase più esigente in termini di capacità di calcolo e di memoria, spesso distribuita su molte GPU.
   • inferenceL’esecuzione di un modello addestrato per rispondere alle richieste. Le preoccupazioni abituali sono la capacità di memoria, la latenza e il costo per richiesta.
   • HPCSimulazione scientifica e ingegneristica, dove contano la precisione numerica e la larghezza di banda della memoria.

Le cifre sono dati anagrafici di Kovara, ultima verifica: 25 set 2026. Le spiegazioni descrivono la tecnologia in generale; non sono benchmark e non dicono nulla su prezzo o disponibilità.