L40 48GB

规格解读

用于AI inference, graphics和virtual workstation

1. 0148 GB GDDR6 内存

   VRAM

   48 GB

   内存类型

   GDDR6

   内存带宽

   0.864 TB/s

   GDDR 是安装在 GPU 周围板卡上的显存，而非堆叠在封装上。它广泛用于图形、渲染和高性价比推理卡。

   VRAM 是板卡上的工作空间。模型权重、激活值和数据集必须能装入其中，否则就要拆分到多个 GPU 上。 仅计算权重的经验法则（16 位精度下，每十亿参数约需 2 GB）：在计入激活值和缓存之前，最多约可容纳 24B 参数。这是基于记录的 VRAM 所做的算术推算，并非基准测试。

2. 02Ada Lovelace 架构

   架构

   Ada Lovelace

   代际

   Ada Data Center

   发布年份

   2022

   生命周期状态

   Previous

   Ada Lovelace 带来了支持 FP8 的第四代 Tensor Core 和第三代光线追踪核心。 （关于该架构的一般背景，并非针对这款特定板卡的陈述。）

   2022 年发布 Kovara 的记录将其列为上一代产品。

3. 03外形规格与功耗

   NVLink

   不支持

   MIG

   不支持

   外形规格

   PCIe dual-slot FHFL

   TDP

   300 W

   Kovara 的记录显示该产品不支持 NVLink，因此其上的多 GPU 任务需依靠 PCIe 或服务器之间的网络来传输数据。

   PCIe 卡插入标准的服务器和工作站扩展槽，适用于各种系统。

   TDP 是额定热设计功耗：服务器供电和散热规划所依据的数值。

4. 04用途

   主要用途（已记录）

   AI inference / graphics / virtual workstation

   以下是 Kovara 为该产品记录的用途。说明部分以一般性描述介绍工作负载，并非性能声明。

   • AI inference运行训练好的模型来响应请求。内存容量、延迟和单次请求成本是常见的考量。
   • graphics交互式图形以及专业设计或工程应用。
   • virtual workstation在远程桌面和虚拟工作站之间共享 GPU。

数据来自 Kovara 主数据，最近验证于 2026年9月03日。说明部分介绍的是一般技术，并非基准测试，也不涉及价格或可用性。