B200 SXM 192GB — Hyperstack flavor

规格解读

用于AI training, inference和HPC

1. 01192 GB HBM3E 内存

   VRAM

   192 GB

   内存类型

   HBM3E

   内存带宽

   8 TB/s

   HBM（高带宽内存）分层堆叠，与处理器紧邻封装在一起。这条短而宽的通路赋予了配备 HBM 的加速器高内存带宽，因此它们通常用于受限于数据到达核心速度的工作，例如大模型推理和 HPC 仿真。

   VRAM 是板卡上的工作空间。模型权重、激活值和数据集必须能装入其中，否则就要拆分到多个 GPU 上。 仅计算权重的经验法则（16 位精度下，每十亿参数约需 2 GB）：在计入激活值和缓存之前，最多约可容纳 96B 参数。这是基于记录的 VRAM 所做的算术推算，并非基准测试。

2. 02Blackwell 架构

   架构

   Blackwell

   发布年份

   2024

   生命周期状态

   Current

   Blackwell 增加了第五代 Tensor Core，并支持低至 FP4 的低精度格式。 （关于该架构的一般背景，并非针对这款特定板卡的陈述。）

   2024 年发布 Kovara 的记录将其列为当前一代产品。

3. 03为跨 GPU 扩展而打造

   NVLink

   支持

   MIG

   支持

   外形规格

   SXM

   TDP

   1000 W

   NVLink 是 GPU 与 GPU 之间的直接互联。在支持它的情况下，同一服务器中的 GPU 交换数据的速度比仅通过 PCIe 更快，当一个训练任务分布在多个 GPU 上时，这一点很重要。

   多实例 GPU（MIG）可将一块物理 GPU 划分为多个相互隔离的切片，每个切片都有自己的内存和算力，让多个较小的工作负载共享一张卡。

   SXM 模块直接安装在服务器基板上，而不是以板卡形式插入，这是高密度多 GPU 服务器的典型布局。

   TDP 是额定热设计功耗：服务器供电和散热规划所依据的数值。

4. 04用途

   主要用途（已记录）

   AI training / inference / HPC

   以下是 Kovara 为该产品记录的用途。说明部分以一般性描述介绍工作负载，并非性能声明。

   • AI training用数据训练模型。通常是对算力和内存需求最大的阶段，往往分布在大量 GPU 上。
   • inference运行训练好的模型来响应请求。内存容量、延迟和单次请求成本是常见的考量。
   • HPC科学与工程仿真，数值精度和内存带宽在其中至关重要。

数据来自 Kovara 主数据，最近验证于 2026年9月23日。说明部分介绍的是一般技术，并非基准测试，也不涉及价格或可用性。