H20 96GB

规格解读

用于AI inference, training和China-market AI compute

1. 0196 GB HBM3 内存

   VRAM

   96 GB

   内存类型

   HBM3

   内存带宽

   4 TB/s

   HBM（高带宽内存）分层堆叠，与处理器紧邻封装在一起。这条短而宽的通路赋予了配备 HBM 的加速器高内存带宽，因此它们通常用于受限于数据到达核心速度的工作，例如大模型推理和 HPC 仿真。

   VRAM 是板卡上的工作空间。模型权重、激活值和数据集必须能装入其中，否则就要拆分到多个 GPU 上。 仅计算权重的经验法则（16 位精度下，每十亿参数约需 2 GB）：在计入激活值和缓存之前，最多约可容纳 48B 参数。这是基于记录的 VRAM 所做的算术推算，并非基准测试。

2. 02Hopper 架构

   架构

   Hopper

   发布年份

   2024

   生命周期状态

   Current

   Hopper 增加了 Transformer Engine（可为 Transformer 模型混合使用 FP8 和 16 位运算）以及第四代 Tensor Core。 （关于该架构的一般背景，并非针对这款特定板卡的陈述。）

   2024 年发布 Kovara 的记录将其列为当前一代产品。

3. 03为跨 GPU 扩展而打造

   NVLink

   支持

   MIG

   支持

   外形规格

   HGX SXM5 / 8-GPU platform

   TDP

   400 W

   NVLink 是 GPU 与 GPU 之间的直接互联。在支持它的情况下，同一服务器中的 GPU 交换数据的速度比仅通过 PCIe 更快，当一个训练任务分布在多个 GPU 上时，这一点很重要。

   多实例 GPU（MIG）可将一块物理 GPU 划分为多个相互隔离的切片，每个切片都有自己的内存和算力，让多个较小的工作负载共享一张卡。

   SXM 模块直接安装在服务器基板上，而不是以板卡形式插入，这是高密度多 GPU 服务器的典型布局。

   TDP 是额定热设计功耗：服务器供电和散热规划所依据的数值。

4. 04用途

   主要用途（已记录）

   AI inference / training / China-market AI compute

   以下是 Kovara 为该产品记录的用途。说明部分以一般性描述介绍工作负载，并非性能声明。

   • AI inference运行训练好的模型来响应请求。内存容量、延迟和单次请求成本是常见的考量。
   • training用数据训练模型。通常是对算力和内存需求最大的阶段，往往分布在大量 GPU 上。
   • China-market AI compute

数据来自 Kovara 主数据，最近验证于 2026年9月03日。说明部分介绍的是一般技术，并非基准测试，也不涉及价格或可用性。