GB300 NVL72 / 288GB per GPU

Spesifikasjonene forklart

Brukes til Frontier AI training, reasoning inference og HPC

1. 01288 GB HBM3E-minne

   VRAM

   288 GB

   Minnetype

   HBM3E

   Minnebåndbredde

   8 TB/s

   HBM (High Bandwidth Memory) er stablet i lag og sitter rett ved siden av prosessoren i samme pakke. Den korte, brede veien er det som gir akseleratorer med HBM minnebåndbredden deres, og derfor velges de vanligvis til arbeid som begrenses av hvor raskt data når kjernene, som inferens med store modeller og HPC-simuleringer.

   VRAM er arbeidsområdet på kortet. Modellvekter, aktiveringer og datasett må få plass i det, eller deles over flere GPU-er. Tommelfingerregel for vektene alene ved 16-biters presisjon (omtrent 2 GB per milliard parametere): opptil om lag 144 milliarder parametere, før aktiveringer og cache. Dette er regning på registrert VRAM, ikke en benchmark.

2. 02Blackwell Ultra + Grace-arkitektur

   Arkitektur

   Blackwell Ultra + Grace

   Generasjon

   Grace Blackwell Ultra

   Lanseringsår

   2025

   Livssyklusstatus

   Current

   Lansert i 2025. Kovaras registreringer oppfører den som en del av nåværende generasjon.

3. 03Bygget for å skalere over flere GPU-er

   NVLink

   Støttes

   MIG

   Støttes

   Formfaktor

   Rack-scale NVL module

   TDP

   1400 W

   NVLink er en direkte kobling fra GPU til GPU. Der den støttes, kan GPU-er i samme server utveksle data raskere enn over PCIe alene, noe som betyr mye når én treningsjobb er fordelt over flere GPU-er.

   Multi-Instance GPU (MIG) kan dele én fysisk GPU i isolerte deler, hver med eget minne og egen datakraft, slik at flere mindre arbeidslaster kan dele et kort.

   TDP er den oppgitte termiske designeffekten: planleggingstallet for strømforsyning og kjøling i en server.

4. 04Hva den brukes til

   Primær bruk (registrert)

   Frontier AI training / reasoning inference / HPC

   Dette er bruksområdene Kovara har registrert for denne delen. Merknadene forklarer arbeidslasten i generelle termer; de er ikke påstander om ytelse.

   • Frontier AI trainingÅ lære opp en modell fra data. Vanligvis fasen som krever mest datakraft og minne, ofte fordelt over mange GPU-er.
   • reasoning inferenceÅ kjøre en trent modell for å besvare forespørsler. Minnekapasitet, forsinkelse og kostnad per forespørsel er de vanlige hensynene.
   • HPCVitenskapelig og teknisk simulering, der numerisk presisjon og minnebåndbredde betyr noe.

Tallene er Kovaras stamdata, sist verifisert 03. sep. 2026. Forklaringene beskriver teknologien generelt; de er ikke benchmarks og sier ingenting om pris eller tilgjengelighet.