GB300 NVL72 / 288GB per GPU

Specifikationerne forklaret

Bruges til Frontier AI training, reasoning inference og HPC

1. 01288 GB HBM3E-hukommelse

   VRAM

   288 GB

   Hukommelsestype

   HBM3E

   Hukommelsesbåndbredde

   8 TB/s

   HBM (High Bandwidth Memory) er stablet i lag og sidder lige ved siden af processoren i samme pakke. Den korte, brede forbindelse er det, der giver acceleratorer med HBM deres hukommelsesbåndbredde, så de vælges typisk til arbejde, der er begrænset af, hvor hurtigt data når frem til kernerne, f.eks. inferens med store modeller og HPC-simulering.

   VRAM er arbejdsområdet på kortet. Modelvægte, aktiveringer og datasæt skal kunne være der eller fordeles på flere GPU’er. Tommelfingerregel for vægtene alene ved 16-bit præcision (ca. 2 GB pr. milliard parametre): op til omkring 144 milliarder parametre, før aktiveringer og cache. Det er en beregning på den registrerede VRAM, ikke en benchmark.

2. 02Blackwell Ultra + Grace-arkitektur

   Arkitektur

   Blackwell Ultra + Grace

   Generation

   Grace Blackwell Ultra

   Lanceringsår

   2025

   Livscyklusstatus

   Current

   Lanceret i 2025. Kovaras poster angiver den som en del af den nuværende generation.

3. 03Bygget til at skalere på tværs af GPU’er

   NVLink

   Understøttet

   MIG

   Understøttet

   Formfaktor

   Rack-scale NVL module

   TDP

   1400 W

   NVLink er en direkte GPU-til-GPU-forbindelse. Hvor den understøttes, kan GPU’er i samme server udveksle data hurtigere end over PCIe alene, hvilket har betydning, når ét træningsjob er fordelt på flere GPU’er.

   Multi-Instance GPU (MIG) kan opdele én fysisk GPU i isolerede dele, hver med sin egen hukommelse og regnekraft, så flere mindre workloads kan dele et kort.

   TDP er den nominelle thermal design power: planlægningstallet for strømforsyning og køling i en server.

4. 04Hvad den bruges til

   Primær anvendelse (registreret)

   Frontier AI training / reasoning inference / HPC

   Det er de anvendelser, Kovara har registreret for denne komponent. Noterne forklarer workloaden i generelle vendinger; de er ikke påstande om ydeevne.

   • Frontier AI trainingAt lære en model op fra data. Som regel den fase, der kræver mest regnekraft og hukommelse, ofte fordelt på mange GPU’er.
   • reasoning inferenceKørsel af en trænet model for at besvare forespørgsler. Hukommelseskapacitet, latenstid og omkostning pr. forespørgsel er de typiske hensyn.
   • HPCVidenskabelig og teknisk simulering, hvor numerisk præcision og hukommelsesbåndbredde har betydning.

Tallene er Kovaras stamdata, senest verificeret 03. sep. 2026. Forklaringerne beskriver teknologien generelt; de er ikke benchmarks og siger intet om pris eller tilgængelighed.