GB200 Grace Blackwell Superchip GPU

Specifikationerna förklarade

Används för Large-scale AI training och inference

1. 01186 GB HBM3E-minne

   VRAM

   186 GB

   Minnestyp

   HBM3E

   Minnesbandbredd

   8 TB/s

   HBM (High Bandwidth Memory) staplas i lager och sitter precis bredvid processorn i samma kapsel. Den korta, breda vägen är det som ger acceleratorer med HBM deras minnesbandbredd, så de väljs oftast för arbete som begränsas av hur snabbt data når kärnorna, till exempel inferens med stora modeller och HPC-simuleringar.

   VRAM är arbetsytan på kortet. Modellvikter, aktiveringar och datamängder måste rymmas i det eller delas upp över flera GPU:er. Tumregel för enbart vikterna vid 16-bitars precision (cirka 2 GB per miljard parametrar): upp till ungefär 93 miljarder parametrar, före aktiveringar och cache. Det här är aritmetik på det registrerade VRAM-värdet, inte en benchmark.

2. 02Arkitekturen Blackwell

   Arkitektur

   Blackwell

   Generation

   Grace Blackwell

   Lanseringsår

   2024

   Livscykelstatus

   Current

   Blackwell lade till femte generationens Tensor Cores och stöd för format med lägre precision ned till FP4. (Allmänt sammanhang om arkitekturen, inte ett påstående om just det här kortet.)

   Lanserad 2024. Enligt Kovaras poster är det en komponent av aktuell generation.

3. 03Byggd för att skala över flera GPU:er

   NVLink

   Stöds

   MIG

   Stöds

   Formfaktor

   Grace Blackwell Superchip / NVL

   TDP

   1200 W

   NVLink är en direkt GPU-till-GPU-länk. Där den stöds kan GPU:er i samma server utbyta data snabbare än enbart via PCIe, vilket spelar roll när ett träningsjobb är fördelat över flera GPU:er.

   Multi-Instance GPU (MIG) kan dela upp en fysisk GPU i isolerade delar, var och en med eget minne och egen beräkningskapacitet, så att flera mindre arbetslaster kan dela på ett kort.

   TDP är den angivna termiska designeffekten: planeringsvärdet för strömförsörjning och kylning i en server.

4. 04Vad den används till

   Primär användning (registrerad)

   Large-scale AI training / inference

   Det här är de användningsområden som Kovara har registrerat för komponenten. Kommentarerna förklarar arbetslasten i allmänna termer; de är inga påståenden om prestanda.

   • Large-scale AI trainingAtt lära upp en modell från data. Oftast den mest beräknings- och minneskrävande fasen, ofta fördelad över många GPU:er.
   • inferenceAtt köra en tränad modell för att besvara förfrågningar. Minneskapacitet, latens och kostnad per förfrågan är de vanliga frågorna.

Värdena är Kovaras masterdata, senast verifierade 03 sep. 2026. Förklaringarna beskriver tekniken i allmänhet; de är inga benchmarks och säger inget om pris eller tillgänglighet.