Gaudi 3 128GB

Specifikationerne forklaret

Bruges til AI training og inference

1. 01128 GB HBM2E-hukommelse

   VRAM

   128 GB

   Hukommelsestype

   HBM2E

   Hukommelsesbåndbredde

   3.7 TB/s

   HBM (High Bandwidth Memory) er stablet i lag og sidder lige ved siden af processoren i samme pakke. Den korte, brede forbindelse er det, der giver acceleratorer med HBM deres hukommelsesbåndbredde, så de vælges typisk til arbejde, der er begrænset af, hvor hurtigt data når frem til kernerne, f.eks. inferens med store modeller og HPC-simulering.

   VRAM er arbejdsområdet på kortet. Modelvægte, aktiveringer og datasæt skal kunne være der eller fordeles på flere GPU’er. Tommelfingerregel for vægtene alene ved 16-bit præcision (ca. 2 GB pr. milliard parametre): op til omkring 64 milliarder parametre, før aktiveringer og cache. Det er en beregning på den registrerede VRAM, ikke en benchmark.

2. 02Gaudi3-arkitektur

   Arkitektur

   Gaudi3

   Generation

   Gaudi 3

   Lanceringsår

   2024

   Livscyklusstatus

   Current

   Gaudi er Intels serie af AI-acceleratorer, bygget til træning og inferens inden for deep learning med netværk indbygget i chippen. (Generel kontekst om arkitekturen, ikke et udsagn om dette specifikke kort.)

   Lanceret i 2024. Kovaras poster angiver den som en del af den nuværende generation.

3. 03Hvad den bruges til

   Primær anvendelse (registreret)

   AI training / inference

   Det er de anvendelser, Kovara har registreret for denne komponent. Noterne forklarer workloaden i generelle vendinger; de er ikke påstande om ydeevne.

   • AI trainingAt lære en model op fra data. Som regel den fase, der kræver mest regnekraft og hukommelse, ofte fordelt på mange GPU’er.
   • inferenceKørsel af en trænet model for at besvare forespørgsler. Hukommelseskapacitet, latenstid og omkostning pr. forespørgsel er de typiske hensyn.

Tallene er Kovaras stamdata, senest verificeret 25. sep. 2026. Forklaringerne beskriver teknologien generelt; de er ikke benchmarks og siger intet om pris eller tilgængelighed.