Gaudi 3 128GB

规格解读

用于AI training和inference

1. 01128 GB HBM2E 内存

   VRAM

   128 GB

   内存类型

   HBM2E

   内存带宽

   3.7 TB/s

   HBM（高带宽内存）分层堆叠，与处理器紧邻封装在一起。这条短而宽的通路赋予了配备 HBM 的加速器高内存带宽，因此它们通常用于受限于数据到达核心速度的工作，例如大模型推理和 HPC 仿真。

   VRAM 是板卡上的工作空间。模型权重、激活值和数据集必须能装入其中，否则就要拆分到多个 GPU 上。 仅计算权重的经验法则（16 位精度下，每十亿参数约需 2 GB）：在计入激活值和缓存之前，最多约可容纳 64B 参数。这是基于记录的 VRAM 所做的算术推算，并非基准测试。

2. 02Gaudi3 架构

   架构

   Gaudi3

   代际

   Gaudi 3

   发布年份

   2024

   生命周期状态

   Current

   Gaudi 是 Intel 的 AI 加速器产品线，专为深度学习训练和推理打造，芯片内置网络功能。 （关于该架构的一般背景，并非针对这款特定板卡的陈述。）

   2024 年发布 Kovara 的记录将其列为当前一代产品。

3. 03用途

   主要用途（已记录）

   AI training / inference

   以下是 Kovara 为该产品记录的用途。说明部分以一般性描述介绍工作负载，并非性能声明。

   • AI training用数据训练模型。通常是对算力和内存需求最大的阶段，往往分布在大量 GPU 上。
   • inference运行训练好的模型来响应请求。内存容量、延迟和单次请求成本是常见的考量。

数据来自 Kovara 主数据，最近验证于 2026年9月25日。说明部分介绍的是一般技术，并非基准测试，也不涉及价格或可用性。