A100 MIG 20GB slice

Spécifications expliquées

Utilisé pour AI training et inference

1. 0120 GB de mémoire

   VRAM

   20 GB

   La VRAM est l’espace de travail de la carte. Les poids du modèle, les activations et les jeux de données doivent y tenir, ou être répartis sur plusieurs GPU. Règle empirique pour les seuls poids en précision 16 bits (environ 2 GB par milliard de paramètres) : jusqu’à environ 10 milliards de paramètres, avant activations et cache. Il s’agit d’un calcul arithmétique sur la VRAM enregistrée, et non d’un benchmark.

2. 02Architecture Ampere

   Architecture

   Ampere

   Année de lancement

   2020

   Statut du cycle de vie

   Previous

   Ampere a apporté à ses composants pour centres de données les Tensor Cores de troisième génération, la précision TF32 et la Multi-Instance GPU (MIG). (Contexte général sur l’architecture, et non une affirmation sur cette carte en particulier.)

   Lancé en 2020. Les enregistrements de Kovara l’indiquent comme un composant de la génération précédente.

3. 03Alimentation et refroidissement

   MIG

   Pris en charge

   La Multi-Instance GPU (MIG) peut diviser un GPU physique en tranches isolées, chacune avec sa propre mémoire et sa propre puissance de calcul, afin que plusieurs charges de travail plus petites puissent partager une carte.

4. 04À quoi il sert

   Usage principal (enregistré)

   AI training / inference

   Voici les usages que Kovara a enregistrés pour ce composant. Les notes expliquent la charge de travail en termes généraux ; elles ne constituent pas des affirmations de performance.

   • AI trainingL’entraînement d’un modèle à partir de données. En général la phase la plus gourmande en calcul et en mémoire, souvent répartie sur de nombreux GPU.
   • inferenceL’exécution d’un modèle entraîné pour répondre à des demandes. La capacité mémoire, la latence et le coût par demande sont les préoccupations habituelles.

Les chiffres sont des données de référence de Kovara, dernière vérification : 25 sept. 2026. Les explications décrivent la technologie de manière générale ; elles ne sont pas des benchmarks et ne disent rien du prix ni de la disponibilité.