H100 80GB — provider does not specify PCIe/SXM

规格解读

用于AI training, inference和HPC

1. 0180 GB 内存

   VRAM

   80 GB

   VRAM 是板卡上的工作空间。模型权重、激活值和数据集必须能装入其中，否则就要拆分到多个 GPU 上。 仅计算权重的经验法则（16 位精度下，每十亿参数约需 2 GB）：在计入激活值和缓存之前，最多约可容纳 40B 参数。这是基于记录的 VRAM 所做的算术推算，并非基准测试。

2. 02Hopper 架构

   架构

   Hopper

   发布年份

   2022

   生命周期状态

   Previous

   Hopper 增加了 Transformer Engine（可为 Transformer 模型混合使用 FP8 和 16 位运算）以及第四代 Tensor Core。 （关于该架构的一般背景，并非针对这款特定板卡的陈述。）

   2022 年发布 Kovara 的记录将其列为上一代产品。

3. 03电力与制冷

   MIG

   支持

   多实例 GPU（MIG）可将一块物理 GPU 划分为多个相互隔离的切片，每个切片都有自己的内存和算力，让多个较小的工作负载共享一张卡。

4. 04用途

   主要用途（已记录）

   AI training / inference / HPC

   以下是 Kovara 为该产品记录的用途。说明部分以一般性描述介绍工作负载，并非性能声明。

   • AI training用数据训练模型。通常是对算力和内存需求最大的阶段，往往分布在大量 GPU 上。
   • inference运行训练好的模型来响应请求。内存容量、延迟和单次请求成本是常见的考量。
   • HPC科学与工程仿真，数值精度和内存带宽在其中至关重要。

数据来自 Kovara 主数据，最近验证于 2026年9月25日。说明部分介绍的是一般技术，并非基准测试，也不涉及价格或可用性。