Instinct MI300X 192GB

规格解读

用于AI training, inference和HPC

1. 01192 GB HBM3 内存

   VRAM

   192 GB

   内存类型

   HBM3

   内存带宽

   5.3 TB/s

   HBM（高带宽内存）分层堆叠，与处理器紧邻封装在一起。这条短而宽的通路赋予了配备 HBM 的加速器高内存带宽，因此它们通常用于受限于数据到达核心速度的工作，例如大模型推理和 HPC 仿真。

   VRAM 是板卡上的工作空间。模型权重、激活值和数据集必须能装入其中，否则就要拆分到多个 GPU 上。 仅计算权重的经验法则（16 位精度下，每十亿参数约需 2 GB）：在计入激活值和缓存之前，最多约可容纳 96B 参数。这是基于记录的 VRAM 所做的算术推算，并非基准测试。

2. 02CDNA 3 架构

   架构

   CDNA 3

   代际

   Instinct MI300

   发布年份

   2023

   生命周期状态

   Previous

   CDNA 3 采用小芯片设计，堆叠的 HBM 内存与计算裸片位于同一封装上。 （关于该架构的一般背景，并非针对这款特定板卡的陈述。）

   2023 年发布 Kovara 的记录将其列为上一代产品。

3. 03外形规格与功耗

   外形规格

   OAM Module

   TDP

   750 W

   加速器模块安装在基板上，而不是以板卡形式插入，这是高密度多加速器服务器采用的布局。

   TDP 是额定热设计功耗：服务器供电和散热规划所依据的数值。

4. 04用途

   主要用途（已记录）

   AI training / inference / HPC

   以下是 Kovara 为该产品记录的用途。说明部分以一般性描述介绍工作负载，并非性能声明。

   • AI training用数据训练模型。通常是对算力和内存需求最大的阶段，往往分布在大量 GPU 上。
   • inference运行训练好的模型来响应请求。内存容量、延迟和单次请求成本是常见的考量。
   • HPC科学与工程仿真，数值精度和内存带宽在其中至关重要。

数据来自 Kovara 主数据，最近验证于 2026年9月03日。说明部分介绍的是一般技术，并非基准测试，也不涉及价格或可用性。