A100 40GB SXM

Specifiche spiegate

Utilizzato per AI training, inference e HPC

1. 0140 GB di memoria HBM2

   VRAM

   40 GB

   Tipo di memoria

   HBM2

   Larghezza di banda della memoria

   1.555 TB/s

   L’HBM (High Bandwidth Memory) è impilata a strati e si trova accanto al processore, nello stesso package. Questo percorso breve e ampio è ciò che dà agli acceleratori con HBM la loro larghezza di banda di memoria, per cui di solito vengono scelti per i carichi limitati dalla velocità con cui i dati raggiungono i core, come l’inferenza di modelli di grandi dimensioni e la simulazione HPC.

   La VRAM è lo spazio di lavoro sulla scheda. Pesi del modello, attivazioni e dataset devono entrarci, oppure essere suddivisi su più GPU. Regola empirica per i soli pesi con precisione a 16 bit (circa 2 GB per miliardo di parametri): fino a circa 20 miliardi di parametri, prima di attivazioni e cache. È un calcolo aritmetico sulla VRAM registrata, non un benchmark.

2. 02Architettura Ampere

   Architettura

   Ampere

   Anno di lancio

   2020

   Stato del ciclo di vita

   Previous

   Ampere ha portato nei suoi componenti per data center i Tensor Core di terza generazione, la precisione TF32 e la Multi-Instance GPU (MIG). (Contesto generale sull’architettura, non un’affermazione su questa scheda specifica.)

   Lanciato nel 2020. I record di Kovara lo indicano come un componente della generazione precedente.

3. 03Progettato per scalare su più GPU

   NVLink

   Supportato

   MIG

   Supportato

   Form factor

   SXM

   TDP

   400 W

   NVLink è un collegamento diretto da GPU a GPU. Dove è supportato, le GPU dello stesso server possono scambiarsi dati più velocemente che con il solo PCIe, un aspetto importante quando un singolo job di training è distribuito su più GPU.

   La Multi-Instance GPU (MIG) può suddividere una GPU fisica in porzioni isolate, ciascuna con la propria memoria e la propria capacità di calcolo, così che più carichi di lavoro più piccoli possano condividere una scheda.

   I moduli SXM sono montati direttamente sulla baseboard di un server anziché inseriti come schede, il layout tipico dei server multi-GPU ad alta densità.

   Il TDP è la potenza termica di progetto nominale: il valore di riferimento per l’alimentazione e il raffreddamento in un server.

4. 04A cosa serve

   Utilizzo principale (registrato)

   AI training / inference / HPC

   Questi sono gli utilizzi che Kovara ha registrato per questo componente. Le note spiegano il carico di lavoro in termini generali; non sono dichiarazioni sulle prestazioni.

   • AI trainingL’addestramento di un modello a partire dai dati. Di solito la fase più esigente in termini di capacità di calcolo e di memoria, spesso distribuita su molte GPU.
   • inferenceL’esecuzione di un modello addestrato per rispondere alle richieste. Le preoccupazioni abituali sono la capacità di memoria, la latenza e il costo per richiesta.
   • HPCSimulazione scientifica e ingegneristica, dove contano la precisione numerica e la larghezza di banda della memoria.

Le cifre sono dati anagrafici di Kovara, ultima verifica: 03 set 2026. Le spiegazioni descrivono la tecnologia in generale; non sono benchmark e non dicono nulla su prezzo o disponibilità.