V100 SXM3 32GB — TensorDock provider label

Specifikationerne forklaret

Bruges til HPC og AI training

1. 0132 GB HBM2-hukommelse

   VRAM

   32 GB

   Hukommelsestype

   HBM2

   HBM (High Bandwidth Memory) er stablet i lag og sidder lige ved siden af processoren i samme pakke. Den korte, brede forbindelse er det, der giver acceleratorer med HBM deres hukommelsesbåndbredde, så de vælges typisk til arbejde, der er begrænset af, hvor hurtigt data når frem til kernerne, f.eks. inferens med store modeller og HPC-simulering.

   VRAM er arbejdsområdet på kortet. Modelvægte, aktiveringer og datasæt skal kunne være der eller fordeles på flere GPU’er. Tommelfingerregel for vægtene alene ved 16-bit præcision (ca. 2 GB pr. milliard parametre): op til omkring 16 milliarder parametre, før aktiveringer og cache. Det er en beregning på den registrerede VRAM, ikke en benchmark.

2. 02Volta-arkitektur

   Arkitektur

   Volta

   Lanceringsår

   2017

   Livscyklusstatus

   Legacy

   Volta introducerede Tensor Cores, dedikerede enheder til matrixberegninger til deep learning. (Generel kontekst om arkitekturen, ikke et udsagn om dette specifikke kort.)

   Lanceret i 2017. Kovaras poster angiver den som en ældre del.

3. 03Bygget til at skalere på tværs af GPU’er

   NVLink

   Understøttet

   MIG

   Ikke understøttet

   Formfaktor

   SXM3

   NVLink er en direkte GPU-til-GPU-forbindelse. Hvor den understøttes, kan GPU’er i samme server udveksle data hurtigere end over PCIe alene, hvilket har betydning, når ét træningsjob er fordelt på flere GPU’er.

   SXM-moduler monteres direkte på et serverbaseboard i stedet for at blive sat i som kort, det layout, der typisk bruges til tætte servere med mange GPU’er.

4. 04Hvad den bruges til

   Primær anvendelse (registreret)

   HPC / AI training

   Det er de anvendelser, Kovara har registreret for denne komponent. Noterne forklarer workloaden i generelle vendinger; de er ikke påstande om ydeevne.

   • HPCVidenskabelig og teknisk simulering, hvor numerisk præcision og hukommelsesbåndbredde har betydning.
   • AI trainingAt lære en model op fra data. Som regel den fase, der kræver mest regnekraft og hukommelse, ofte fordelt på mange GPU’er.

Tallene er Kovaras stamdata, senest verificeret 25. sep. 2026. Forklaringerne beskriver teknologien generelt; de er ikke benchmarks og siger intet om pris eller tilgængelighed.