Gaudi 2 96GB

Spécifications expliquées

Utilisé pour AI training et inference

1. 0196 GB de mémoire HBM2E

   VRAM

   96 GB

   Type de mémoire

   HBM2E

   Bande passante mémoire

   2.45 TB/s

   La HBM (High Bandwidth Memory) est empilée en couches et placée juste à côté du processeur, sur le même package. Ce chemin court et large est ce qui donne aux accélérateurs équipés de HBM leur bande passante mémoire ; on les choisit donc généralement pour des charges de travail limitées par la vitesse à laquelle les données parviennent aux cœurs, comme l’inférence de grands modèles et la simulation HPC.

   La VRAM est l’espace de travail de la carte. Les poids du modèle, les activations et les jeux de données doivent y tenir, ou être répartis sur plusieurs GPU. Règle empirique pour les seuls poids en précision 16 bits (environ 2 GB par milliard de paramètres) : jusqu’à environ 48 milliards de paramètres, avant activations et cache. Il s’agit d’un calcul arithmétique sur la VRAM enregistrée, et non d’un benchmark.

2. 02Architecture Gaudi2

   Architecture

   Gaudi2

   Génération

   Gaudi 2

   Année de lancement

   2022

   Statut du cycle de vie

   Previous

   Gaudi est la gamme d’accélérateurs d’IA d’Intel, conçue pour l’entraînement et l’inférence en deep learning, avec le réseau intégré à la puce. (Contexte général sur l’architecture, et non une affirmation sur cette carte en particulier.)

   Lancé en 2022. Les enregistrements de Kovara l’indiquent comme un composant de la génération précédente.

3. 03Facteur de forme et alimentation

   Facteur de forme

   Mezzanine accelerator

   TDP

   600 W

   Les modules accélérateurs sont montés sur une baseboard plutôt qu’insérés comme des cartes, la disposition utilisée pour les serveurs multi-accélérateurs à haute densité.

   Le TDP est la puissance thermique de conception nominale : la valeur de référence pour dimensionner l’alimentation et le refroidissement d’un serveur.

4. 04À quoi il sert

   Usage principal (enregistré)

   AI training / inference

   Voici les usages que Kovara a enregistrés pour ce composant. Les notes expliquent la charge de travail en termes généraux ; elles ne constituent pas des affirmations de performance.

   • AI trainingL’entraînement d’un modèle à partir de données. En général la phase la plus gourmande en calcul et en mémoire, souvent répartie sur de nombreux GPU.
   • inferenceL’exécution d’un modèle entraîné pour répondre à des demandes. La capacité mémoire, la latence et le coût par demande sont les préoccupations habituelles.

Les chiffres sont des données de référence de Kovara, dernière vérification : 25 sept. 2026. Les explications décrivent la technologie de manière générale ; elles ne sont pas des benchmarks et ne disent rien du prix ni de la disponibilité.