Loading
译自英文。如有差异，以英文版本为准。
运行训练好的模型，为用户生成回答或预测。
推理的瓶颈通常在于内存和延迟而非原始算力，一旦有了用户就会持续运行。
让 Kova 结合您的工作负载解释推理。 认识 Kova →
