A100 MIG 20GB slice

Spesifikasjonene forklart

Brukes til AI training og inference

1. 0120 GB minne

   VRAM

   20 GB

   VRAM er arbeidsområdet på kortet. Modellvekter, aktiveringer og datasett må få plass i det, eller deles over flere GPU-er. Tommelfingerregel for vektene alene ved 16-biters presisjon (omtrent 2 GB per milliard parametere): opptil om lag 10 milliarder parametere, før aktiveringer og cache. Dette er regning på registrert VRAM, ikke en benchmark.

2. 02Ampere-arkitektur

   Arkitektur

   Ampere

   Lanseringsår

   2020

   Livssyklusstatus

   Previous

   Ampere brakte tredje generasjons tensorkjerner, TF32-presisjon og Multi-Instance GPU (MIG) til datasenterdelene sine. (Generell kontekst om arkitekturen, ikke en påstand om akkurat dette kortet.)

   Lansert i 2020. Kovaras registreringer oppfører den som en del av forrige generasjon.

3. 03Strøm og kjøling

   MIG

   Støttes

   Multi-Instance GPU (MIG) kan dele én fysisk GPU i isolerte deler, hver med eget minne og egen datakraft, slik at flere mindre arbeidslaster kan dele et kort.

4. 04Hva den brukes til

   Primær bruk (registrert)

   AI training / inference

   Dette er bruksområdene Kovara har registrert for denne delen. Merknadene forklarer arbeidslasten i generelle termer; de er ikke påstander om ytelse.

   • AI trainingÅ lære opp en modell fra data. Vanligvis fasen som krever mest datakraft og minne, ofte fordelt over mange GPU-er.
   • inferenceÅ kjøre en trent modell for å besvare forespørsler. Minnekapasitet, forsinkelse og kostnad per forespørsel er de vanlige hensynene.

Tallene er Kovaras stamdata, sist verifisert 25. sep. 2026. Forklaringene beskriver teknologien generelt; de er ikke benchmarks og sier ingenting om pris eller tilgjengelighet.