Loading
英語からの翻訳です。相違がある場合は英語版が優先されます。
GPUが毎秒どれだけのデータをメモリから読み出し、または書き込めるかを示す値で、通常はテラバイト毎秒で表されます。
テキストをトークン単位で生成する処理は、計算資源そのものの量よりもメモリ帯域幅に制約されることが多く、推論速度に大きく影響します。
お客様のワークロードに即してメモリ帯域幅を説明するよう、Kovaに依頼できます。 Kovaに会う →
