A100 MIG 20GB slice

Specifikationerna förklarade

Används för AI training och inference

1. 0120 GB minne

   VRAM

   20 GB

   VRAM är arbetsytan på kortet. Modellvikter, aktiveringar och datamängder måste rymmas i det eller delas upp över flera GPU:er. Tumregel för enbart vikterna vid 16-bitars precision (cirka 2 GB per miljard parametrar): upp till ungefär 10 miljarder parametrar, före aktiveringar och cache. Det här är aritmetik på det registrerade VRAM-värdet, inte en benchmark.

2. 02Arkitekturen Ampere

   Arkitektur

   Ampere

   Lanseringsår

   2020

   Livscykelstatus

   Previous

   Ampere gav sina datacenterkomponenter tredje generationens Tensor Cores, TF32-precision och Multi-Instance GPU (MIG). (Allmänt sammanhang om arkitekturen, inte ett påstående om just det här kortet.)

   Lanserad 2020. Enligt Kovaras poster är det en komponent av föregående generation.

3. 03Effekt och kylning

   MIG

   Stöds

   Multi-Instance GPU (MIG) kan dela upp en fysisk GPU i isolerade delar, var och en med eget minne och egen beräkningskapacitet, så att flera mindre arbetslaster kan dela på ett kort.

4. 04Vad den används till

   Primär användning (registrerad)

   AI training / inference

   Det här är de användningsområden som Kovara har registrerat för komponenten. Kommentarerna förklarar arbetslasten i allmänna termer; de är inga påståenden om prestanda.

   • AI trainingAtt lära upp en modell från data. Oftast den mest beräknings- och minneskrävande fasen, ofta fördelad över många GPU:er.
   • inferenceAtt köra en tränad modell för att besvara förfrågningar. Minneskapacitet, latens och kostnad per förfrågan är de vanliga frågorna.

Värdena är Kovaras masterdata, senast verifierade 25 sep. 2026. Förklaringarna beskriver tekniken i allmänhet; de är inga benchmarks och säger inget om pris eller tillgänglighet.