Gaudi 2 96GB

Specifikationerna förklarade

Används för AI training och inference

1. 0196 GB HBM2E-minne

   VRAM

   96 GB

   Minnestyp

   HBM2E

   Minnesbandbredd

   2.45 TB/s

   HBM (High Bandwidth Memory) staplas i lager och sitter precis bredvid processorn i samma kapsel. Den korta, breda vägen är det som ger acceleratorer med HBM deras minnesbandbredd, så de väljs oftast för arbete som begränsas av hur snabbt data når kärnorna, till exempel inferens med stora modeller och HPC-simuleringar.

   VRAM är arbetsytan på kortet. Modellvikter, aktiveringar och datamängder måste rymmas i det eller delas upp över flera GPU:er. Tumregel för enbart vikterna vid 16-bitars precision (cirka 2 GB per miljard parametrar): upp till ungefär 48 miljarder parametrar, före aktiveringar och cache. Det här är aritmetik på det registrerade VRAM-värdet, inte en benchmark.

2. 02Arkitekturen Gaudi2

   Arkitektur

   Gaudi2

   Generation

   Gaudi 2

   Lanseringsår

   2022

   Livscykelstatus

   Previous

   Gaudi är Intels serie av AI-acceleratorer, byggd för träning och inferens inom djupinlärning med nätverk inbyggt i chippet. (Allmänt sammanhang om arkitekturen, inte ett påstående om just det här kortet.)

   Lanserad 2022. Enligt Kovaras poster är det en komponent av föregående generation.

3. 03Formfaktor och effekt

   Formfaktor

   Mezzanine accelerator

   TDP

   600 W

   Acceleratormoduler monteras på ett basbord i stället för att sättas i som kort, den layout som används för täta servrar med flera acceleratorer.

   TDP är den angivna termiska designeffekten: planeringsvärdet för strömförsörjning och kylning i en server.

4. 04Vad den används till

   Primär användning (registrerad)

   AI training / inference

   Det här är de användningsområden som Kovara har registrerat för komponenten. Kommentarerna förklarar arbetslasten i allmänna termer; de är inga påståenden om prestanda.

   • AI trainingAtt lära upp en modell från data. Oftast den mest beräknings- och minneskrävande fasen, ofta fördelad över många GPU:er.
   • inferenceAtt köra en tränad modell för att besvara förfrågningar. Minneskapacitet, latens och kostnad per förfrågan är de vanliga frågorna.

Värdena är Kovaras masterdata, senast verifierade 25 sep. 2026. Förklaringarna beskriver tekniken i allmänhet; de är inga benchmarks och säger inget om pris eller tillgänglighet.