Gaudi 2 96GB

Specificaties uitgelegd

Gebruikt voor AI training en inference

1. 0196 GB HBM2E-geheugen

   VRAM

   96 GB

   Geheugentype

   HBM2E

   Geheugenbandbreedte

   2.45 TB/s

   HBM (High Bandwidth Memory) is in lagen gestapeld en zit direct naast de processor in dezelfde behuizing. Dat korte, brede pad geeft accelerators met HBM hun geheugenbandbreedte, en daarom worden ze meestal gekozen voor werk dat wordt begrensd door hoe snel data de cores bereikt, zoals inferentie met grote modellen en HPC-simulaties.

   VRAM is de werkruimte op de kaart. Modelgewichten, activaties en datasets moeten erin passen of over meerdere GPU’s worden verdeeld. Vuistregel voor alleen de gewichten bij 16-bit precisie (ongeveer 2 GB per miljard parameters): tot ruwweg 48 miljard parameters, vóór activaties en cache. Dit is een rekensom op basis van het vastgelegde VRAM, geen benchmark.

2. 02Gaudi2-architectuur

   Architectuur

   Gaudi2

   Generatie

   Gaudi 2

   Lanceringsjaar

   2022

   Levenscyclusstatus

   Previous

   Gaudi is de AI-acceleratorlijn van Intel, gebouwd voor training en inferentie van deep learning, met netwerkfuncties in de chip zelf. (Algemene context over de architectuur, geen uitspraak over deze specifieke kaart.)

   Gelanceerd in 2022. De records van Kovara vermelden dit als een onderdeel van de vorige generatie.

3. 03Vormfactor en vermogen

   Vormfactor

   Mezzanine accelerator

   TDP

   600 W

   Acceleratormodules worden op een baseboard gemonteerd in plaats van als kaarten in een slot gestoken, de opbouw die wordt gebruikt voor compacte servers met meerdere accelerators.

   TDP is het nominale thermische ontwerpvermogen: het planningscijfer voor stroomvoorziening en koeling in een server.

4. 04Waarvoor het wordt gebruikt

   Primair gebruik (vastgelegd)

   AI training / inference

   Dit zijn de toepassingen die Kovara voor dit onderdeel heeft vastgelegd. De toelichtingen beschrijven de workload in algemene termen; het zijn geen prestatieclaims.

   • AI trainingEen model leren op basis van data. Meestal de fase die de meeste rekenkracht en het meeste geheugen vraagt, vaak verdeeld over veel GPU’s.
   • inferenceEen getraind model draaien om verzoeken te beantwoorden. Geheugencapaciteit, latentie en kosten per verzoek zijn de gebruikelijke aandachtspunten.

De cijfers zijn stamgegevens van Kovara, laatst geverifieerd op 25 sep 2026. De toelichtingen beschrijven de technologie in het algemeen; het zijn geen benchmarks en ze zeggen niets over prijs of beschikbaarheid.