Gaudi 2 96GB

Tekniset tiedot selitettynä

Käyttökohteet: AI training ja inference

1. 0196 GB HBM2E-muistia

   VRAM

   96 GB

   Muistityyppi

   HBM2E

   Muistin kaistanleveys

   2.45 TB/s

   HBM (High Bandwidth Memory) on pinottu kerroksiin ja sijaitsee aivan suorittimen vieressä samassa paketissa. Tämä lyhyt ja leveä väylä antaa HBM-muistilla varustetuille kiihdyttimille niiden muistin kaistanleveyden, minkä vuoksi ne valitaan yleensä töihin, joita rajoittaa se, kuinka nopeasti data pääsee ytimille, kuten suurten mallien inferenssiin ja HPC-simulaatioon.

   VRAM on kortin työtila. Mallin painojen, aktivaatioiden ja datajoukkojen on mahduttava siihen, tai ne on jaettava usealle GPU:lle. Nyrkkisääntö pelkille painoille 16 bitin tarkkuudella (noin 2 GB miljardia parametria kohti): enintään noin 48 miljardia parametria, ennen aktivaatioita ja välimuistia. Tämä on kirjatun VRAM-muistin laskutoimitus, ei vertailuarvo.

2. 02Gaudi2-arkkitehtuuri

   Arkkitehtuuri

   Gaudi2

   Sukupolvi

   Gaudi 2

   Julkaisuvuosi

   2022

   Elinkaaren tila

   Previous

   Gaudi on Intel-yhtiön tekoälykiihdyttimien tuotesarja, joka on rakennettu syväoppimisen koulutukseen ja inferenssiin verkkoyhteys integroituna suoraan piiriin. (Yleistä taustaa arkkitehtuurista, ei väite tästä nimenomaisesta kortista.)

   Lanseerattu vuonna 2022. Kovara-alustan tietueissa se on kirjattu edellisen sukupolven komponentiksi.

3. 03Muotokerroin ja sähkönsyöttö

   Muotokerroin

   Mezzanine accelerator

   TDP

   600 W

   Kiihdytinmoduulit asennetaan kantalevylle eikä korttipaikkoihin kortteina; tätä rakennetta käytetään tiheissä usean kiihdyttimen palvelimissa.

   TDP on nimellinen lämpösuunnitteluteho: palvelimen sähkönsyötön ja jäähdytyksen mitoituksessa käytettävä suunnitteluarvo.

4. 04Mihin sitä käytetään

   Pääasiallinen käyttö (kirjattu)

   AI training / inference

   Nämä ovat käyttötarkoitukset, jotka Kovara on kirjannut tälle komponentille. Huomautukset selittävät työkuorman yleisellä tasolla; ne eivät ole suorituskykyväitteitä.

   • AI trainingMallin opettaminen datasta. Yleensä eniten laskentakapasiteettia ja muistia vaativa vaihe, joka on usein jaettu monelle GPU:lle.
   • inferenceKoulutetun mallin ajaminen pyyntöihin vastaamiseksi. Yleensä keskeisiä seikkoja ovat muistikapasiteetti, viive ja kustannus pyyntöä kohti.

Luvut ovat Kovara-alustan perustietoja, viimeksi varmennettu 25.9.2026. Selitykset kuvaavat teknologiaa yleisesti; ne eivät ole vertailuarvoja eivätkä kerro mitään hinnasta tai saatavuudesta.