术语表
算力的语言。
51 个术语,涵盖从 GPU、网络到数据中心和采购模式,均以通俗语言解释。
硬件
加速器一种为加速特定工作负载(如 AI)而设计的芯片。GPU 是最知名的加速器;其他还包括 TPU 和定制 AI 芯片。内存带宽GPU 每秒能从内存读取或写入多少数据,通常以 TB/s 为单位。A100NVIDIA Ampere 架构的数据中心 GPU,是 H100 的前代产品。B200NVIDIA Blackwell 架构的数据中心 GPU,是 Hopper 的后继架构。FLOPS每秒浮点运算次数:衡量原始计算吞吐量的指标,常以 teraflops 或 petaflops 表示。GPU图形处理器:一种为并行运行大量计算而设计的芯片。GPU 是训练和运行 AI 模型的主要硬件。H100NVIDIA Hopper 架构的数据中心 GPU,广泛用于 AI 训练和推理。它有多种外形规格,包括 SXM 和 PCIe。H200NVIDIA Hopper 架构的 GPU,在 H100 算力设计的基础上配备了更大、更快的内存。HBM高带宽内存:堆叠在 GPU 芯片旁边的内存,使数据能够以极快的速度进出。MI300XAMD 面向 AI 和高性能计算的 Instinct MI300X 数据中心加速器。PCIePCI Express:GPU 与服务器其余部分之间的标准连接。PCIe GPU 以板卡形式插入。SXMNVIDIA 的插座式 GPU 外形规格,直接安装在服务器主板上,专为 NVLink 和更高功率设计。Tensor CoreNVIDIA GPU 内部的专用单元,执行 AI 核心的矩阵运算,速度远超通用核心。VRAMGPU 上的内存,以 GB 为单位。GPU 运行时,它存放模型权重、工作数据和缓存。
网络
AI 工作负载
数据中心
采购算力
超大规模云厂商超大型云服务商,例如主要的公有云,在全球范围内运营数据中心。承诺期限买方同意为容量付费的时长,例如一个月、三个月或十二个月。出口流量离开服务商网络的数据,部分服务商按 GB 收费。集群通过高速网络连接的一组服务器,可以协同处理同一项任务。节点集群中的一台服务器。一个 GPU 节点通常包含多个 GPU,常见为八个。竞价(可中断)以折扣价提供的闲置容量,服务商可以在短时间通知后收回。新型云较新的云服务商,专注于 GPU 和 AI 基础设施,而非通用云服务。预留容量承诺在固定期限内(通常为数月)使用算力,以换取更低的价格或有保证的可用性。Bare metal租用整台物理服务器,您与硬件之间没有虚拟化层。GPU-hour一个 GPU 使用一小时。它是比较算力价格的标准单位。On-demand按小时或分钟租用算力,无需长期承诺。视可用情况,您可以随时启动和停止。SLA服务等级协议:服务商就正常运行时间等事项作出的书面承诺,未达标时提供补救措施。
Kovara
标准化价格换算为通用单位(例如每 GPU-hour 美元价格)的价格,以便比较不同的产品。参考价格尚未作为官方定盘价发布的实时估算。它被标注为参考性数值,以免被误认为定盘价。定盘价Compute Index 的官方公布基准值,记录所采用的方法论版本,绝不会被悄悄改写。可用性状态产品是可用、有限还是不可用;来源未说明时则为未知。置信度等级Kovara 对事实支持程度的 A–D 评级:A 高度验证,B 证据充分,C 证据不完整,D 估算或未验证。Compute IndexKovara 的算力价格与可用性基准,依据独立服务商提供的数据,按公开的方法论计算。Verified Provider身份经 Kovara 工作人员审核的服务商。该身份绝不会自动授予。
