Loading
译自英文。如有差异，以英文版本为准。
GPU 每秒能从内存读取或写入多少数据，通常以 TB/s 为单位。
逐个 token 生成文本时，瓶颈往往在于内存带宽而非原始算力，因此它对推理速度影响很大。
让 Kova 结合您的工作负载解释内存带宽。 认识 Kova →
