H100 NVLink 80GB — Hyperstack flavor

Specifikationerne forklaret

Bruges til AI training, inference og HPC

1. 0180 GB hukommelse

   VRAM

   80 GB

   VRAM er arbejdsområdet på kortet. Modelvægte, aktiveringer og datasæt skal kunne være der eller fordeles på flere GPU’er. Tommelfingerregel for vægtene alene ved 16-bit præcision (ca. 2 GB pr. milliard parametre): op til omkring 40 milliarder parametre, før aktiveringer og cache. Det er en beregning på den registrerede VRAM, ikke en benchmark.

2. 02Hopper-arkitektur

   Arkitektur

   Hopper

   Lanceringsår

   2022

   Livscyklusstatus

   Previous

   Hopper tilføjede Transformer Engine, der blander FP8- og 16-bit-beregninger til transformermodeller, og fjerde generation af Tensor Cores. (Generel kontekst om arkitekturen, ikke et udsagn om dette specifikke kort.)

   Lanceret i 2022. Kovaras poster angiver den som en del af den forrige generation.

3. 03Bygget til at skalere på tværs af GPU’er

   NVLink

   Understøttet

   MIG

   Understøttet

   NVLink er en direkte GPU-til-GPU-forbindelse. Hvor den understøttes, kan GPU’er i samme server udveksle data hurtigere end over PCIe alene, hvilket har betydning, når ét træningsjob er fordelt på flere GPU’er.

   Multi-Instance GPU (MIG) kan opdele én fysisk GPU i isolerede dele, hver med sin egen hukommelse og regnekraft, så flere mindre workloads kan dele et kort.

4. 04Hvad den bruges til

   Primær anvendelse (registreret)

   AI training / inference / HPC

   Det er de anvendelser, Kovara har registreret for denne komponent. Noterne forklarer workloaden i generelle vendinger; de er ikke påstande om ydeevne.

   • AI trainingAt lære en model op fra data. Som regel den fase, der kræver mest regnekraft og hukommelse, ofte fordelt på mange GPU’er.
   • inferenceKørsel af en trænet model for at besvare forespørgsler. Hukommelseskapacitet, latenstid og omkostning pr. forespørgsel er de typiske hensyn.
   • HPCVidenskabelig og teknisk simulering, hvor numerisk præcision og hukommelsesbåndbredde har betydning.

Tallene er Kovaras stamdata, senest verificeret 25. sep. 2026. Forklaringerne beskriver teknologien generelt; de er ikke benchmarks og siger intet om pris eller tilgængelighed.