H100 SXM

Tekniset tiedot selitettynä

Käyttökohteet: AI Training, AI Inference ja HPC

1. 0180 GB HBM3-muistia

   VRAM

   80 GB

   Muistityyppi

   HBM3

   Muistin kaistanleveys

   3.35 TB/s

   HBM (High Bandwidth Memory) on pinottu kerroksiin ja sijaitsee aivan suorittimen vieressä samassa paketissa. Tämä lyhyt ja leveä väylä antaa HBM-muistilla varustetuille kiihdyttimille niiden muistin kaistanleveyden, minkä vuoksi ne valitaan yleensä töihin, joita rajoittaa se, kuinka nopeasti data pääsee ytimille, kuten suurten mallien inferenssiin ja HPC-simulaatioon.

   VRAM on kortin työtila. Mallin painojen, aktivaatioiden ja datajoukkojen on mahduttava siihen, tai ne on jaettava usealle GPU:lle. Nyrkkisääntö pelkille painoille 16 bitin tarkkuudella (noin 2 GB miljardia parametria kohti): enintään noin 40 miljardia parametria, ennen aktivaatioita ja välimuistia. Tämä on kirjatun VRAM-muistin laskutoimitus, ei vertailuarvo.

2. 02Hopper-arkkitehtuuri

   Arkkitehtuuri

   Hopper

   Julkaisuvuosi

   2022

   Elinkaaren tila

   Previous Generation

   Hopper lisäsi Transformer Engine -moottorin, joka yhdistää FP8- ja 16-bittistä laskentaa transformer-malleille, sekä neljännen sukupolven Tensor Core -ytimet. (Yleistä taustaa arkkitehtuurista, ei väite tästä nimenomaisesta kortista.)

   Lanseerattu vuonna 2022. Kovara-alustan tietueissa se on kirjattu edellisen sukupolven komponentiksi.

3. 03Suunniteltu skaalautumaan usealle GPU:lle

   NVLink

   Tuettu

   MIG

   Tuettu

   Muotokerroin

   SXM

   TDP

   700 W

   NVLink on suora GPU:sta GPU:hun kulkeva yhteys. Missä se on tuettu, saman palvelimen GPU:t voivat vaihtaa dataa nopeammin kuin pelkän PCIe:n kautta, millä on merkitystä, kun yksi koulutusajo jakautuu usealle GPU:lle.

   Multi-Instance GPU (MIG) voi jakaa yhden fyysisen GPU:n eristettyihin osiin, joilla kullakin on oma muistinsa ja oma laskentatehonsa, jolloin useampi pienempi työkuorma voi jakaa kortin.

   SXM-moduulit asennetaan suoraan palvelimen kantalevylle eikä korttipaikkoihin kortteina; tätä rakennetta käytetään tyypillisesti tiheissä usean GPU:n palvelimissa.

   TDP on nimellinen lämpösuunnitteluteho: palvelimen sähkönsyötön ja jäähdytyksen mitoituksessa käytettävä suunnitteluarvo.

4. 04Mihin sitä käytetään

   Pääasiallinen käyttö (kirjattu)

   AI Training, AI Inference, HPC

   Nämä ovat käyttötarkoitukset, jotka Kovara on kirjannut tälle komponentille. Huomautukset selittävät työkuorman yleisellä tasolla; ne eivät ole suorituskykyväitteitä.

   • AI TrainingMallin opettaminen datasta. Yleensä eniten laskentakapasiteettia ja muistia vaativa vaihe, joka on usein jaettu monelle GPU:lle.
   • AI InferenceKoulutetun mallin ajaminen pyyntöihin vastaamiseksi. Yleensä keskeisiä seikkoja ovat muistikapasiteetti, viive ja kustannus pyyntöä kohti.
   • HPCTieteellinen ja tekninen simulaatio, jossa numeerinen tarkkuus ja muistin kaistanleveys ovat tärkeitä.

Luvut ovat Kovara-alustan perustietoja, viimeksi varmennettu 30.8.2026. Selitykset kuvaavat teknologiaa yleisesti; ne eivät ole vertailuarvoja eivätkä kerro mitään hinnasta tai saatavuudesta.