H100 80GB — provider does not specify PCIe/SXM

Характеристики з поясненнями

Використовується для: AI training, inference і HPC

1. 0180 GB пам’яті

   VRAM

   80 GB

   VRAM — робочий простір на карті. Ваги моделі, активації та набори даних мають уміщатися в ній або розділятися між кількома GPU. Емпіричне правило лише для ваг при 16-бітній точності (близько 2 GB на мільярд параметрів): приблизно до 40 млрд параметрів, без урахування активацій і кешу. Це арифметика на основі зафіксованого обсягу VRAM, а не бенчмарк.

2. 02Архітектура Hopper

   Архітектура

   Hopper

   Рік випуску

   2022

   Статус життєвого циклу

   Previous

   Hopper додала Transformer Engine, що поєднує обчислення FP8 і 16-бітні обчислення для моделей-трансформерів, а також тензорні ядра четвертого покоління. (Загальний контекст про архітектуру, а не твердження про цю конкретну карту.)

   Випущено в 2022. У записах Kovara це компонент попереднього покоління.

3. 03Живлення та охолодження

   MIG

   Підтримується

   Multi-Instance GPU (MIG) може ділити один фізичний GPU на ізольовані частини, кожна з власною пам’яттю та обчислювальними ресурсами, щоб кілька менших навантажень могли спільно використовувати карту.

4. 04Для чого використовується

   Основне призначення (зафіксоване)

   AI training / inference / HPC

   Це сценарії використання, які Kovara зафіксувала для цього компонента. Примітки описують навантаження загалом; це не заяви про продуктивність.

   • AI trainingНавчання моделі на даних. Зазвичай найвибагливіший до обчислень і пам’яті етап, який часто розподіляють між багатьма GPU.
   • inferenceЗапуск навченої моделі для відповіді на запити. Зазвичай важливі обсяг пам’яті, затримка та вартість запиту.
   • HPCНаукове й інженерне моделювання, де важать числова точність і пропускна здатність пам’яті.

Показники — основні дані Kovara, востаннє перевірені 25 вер. 2026 р.. Пояснення описують технологію загалом; вони не є бенчмарками й нічого не кажуть про ціну чи доступність.