A2 16GB

Spesifikasjonene forklart

Brukes til Edge AI og inference

1. 0116 GB GDDR6-minne

   VRAM

   16 GB

   Minnetype

   GDDR6

   Minnebåndbredde

   0.2 TB/s

   GDDR er grafikkminne montert på kortet rundt GPU-en i stedet for stablet i pakken. Det er mye brukt på kort for grafikk, rendering og kostnadseffektiv inferens.

   VRAM er arbeidsområdet på kortet. Modellvekter, aktiveringer og datasett må få plass i det, eller deles over flere GPU-er. Tommelfingerregel for vektene alene ved 16-biters presisjon (omtrent 2 GB per milliard parametere): opptil om lag 8 milliarder parametere, før aktiveringer og cache. Dette er regning på registrert VRAM, ikke en benchmark.

2. 02Ampere-arkitektur

   Arkitektur

   Ampere

   Lanseringsår

   2021

   Livssyklusstatus

   Previous

   Ampere brakte tredje generasjons tensorkjerner, TF32-presisjon og Multi-Instance GPU (MIG) til datasenterdelene sine. (Generell kontekst om arkitekturen, ikke en påstand om akkurat dette kortet.)

   Lansert i 2021. Kovaras registreringer oppfører den som en del av forrige generasjon.

3. 03Formfaktor og effekt

   NVLink

   Støttes ikke

   MIG

   Støttes ikke

   Formfaktor

   PCIe low-profile single-slot

   TDP

   60 W

   Kovaras registreringer viser ingen støtte for NVLink, så jobber med flere GPU-er på denne delen er avhengige av PCIe eller nettverket mellom serverne for å flytte data.

   PCIe-kort settes inn i vanlige utvidelsesspor i servere og arbeidsstasjoner, noe som passer et bredt utvalg av systemer.

   TDP er den oppgitte termiske designeffekten: planleggingstallet for strømforsyning og kjøling i en server.

4. 04Hva den brukes til

   Primær bruk (registrert)

   Edge AI / inference

   Dette er bruksområdene Kovara har registrert for denne delen. Merknadene forklarer arbeidslasten i generelle termer; de er ikke påstander om ytelse.

   • Edge AIKjøring av modeller nær der dataene produseres, i kompakte systemer med begrenset effekt.
   • inferenceÅ kjøre en trent modell for å besvare forespørsler. Minnekapasitet, forsinkelse og kostnad per forespørsel er de vanlige hensynene.

Tallene er Kovaras stamdata, sist verifisert 03. sep. 2026. Forklaringene beskriver teknologien generelt; de er ikke benchmarks og sier ingenting om pris eller tilgjengelighet.