H100 NVLink 80GB — Hyperstack flavor

Spesifikasjonene forklart

Brukes til AI training, inference og HPC

1. 0180 GB minne

   VRAM

   80 GB

   VRAM er arbeidsområdet på kortet. Modellvekter, aktiveringer og datasett må få plass i det, eller deles over flere GPU-er. Tommelfingerregel for vektene alene ved 16-biters presisjon (omtrent 2 GB per milliard parametere): opptil om lag 40 milliarder parametere, før aktiveringer og cache. Dette er regning på registrert VRAM, ikke en benchmark.

2. 02Hopper-arkitektur

   Arkitektur

   Hopper

   Lanseringsår

   2022

   Livssyklusstatus

   Previous

   Hopper la til Transformer Engine, som blander FP8- og 16-biters beregninger for transformermodeller, og fjerde generasjons tensorkjerner. (Generell kontekst om arkitekturen, ikke en påstand om akkurat dette kortet.)

   Lansert i 2022. Kovaras registreringer oppfører den som en del av forrige generasjon.

3. 03Bygget for å skalere over flere GPU-er

   NVLink

   Støttes

   MIG

   Støttes

   NVLink er en direkte kobling fra GPU til GPU. Der den støttes, kan GPU-er i samme server utveksle data raskere enn over PCIe alene, noe som betyr mye når én treningsjobb er fordelt over flere GPU-er.

   Multi-Instance GPU (MIG) kan dele én fysisk GPU i isolerte deler, hver med eget minne og egen datakraft, slik at flere mindre arbeidslaster kan dele et kort.

4. 04Hva den brukes til

   Primær bruk (registrert)

   AI training / inference / HPC

   Dette er bruksområdene Kovara har registrert for denne delen. Merknadene forklarer arbeidslasten i generelle termer; de er ikke påstander om ytelse.

   • AI trainingÅ lære opp en modell fra data. Vanligvis fasen som krever mest datakraft og minne, ofte fordelt over mange GPU-er.
   • inferenceÅ kjøre en trent modell for å besvare forespørsler. Minnekapasitet, forsinkelse og kostnad per forespørsel er de vanlige hensynene.
   • HPCVitenskapelig og teknisk simulering, der numerisk presisjon og minnebåndbredde betyr noe.

Tallene er Kovaras stamdata, sist verifisert 25. sep. 2026. Forklaringene beskriver teknologien generelt; de er ikke benchmarks og sier ingenting om pris eller tilgjengelighet.