L4 24GB

仕様の解説

用途：AI inference, videoとgraphics

1. 0124 GBのGDDR6メモリ

   VRAM

   24 GB

   メモリタイプ

   GDDR6

   メモリ帯域幅

   0.3 TB/s

   GDDRは、パッケージ上に積層されるのではなく、GPUの周囲のボード上に実装されるグラフィックスメモリです。グラフィックス、レンダリング、コスト効率の高い推論用のカードで広く使われています。

   VRAMはカード上の作業領域です。モデルの重み、アクティベーション、データセットはここに収まる必要があり、収まらない場合は複数のGPUに分割しなければなりません。 16ビット精度での重みだけの目安（パラメーター十億個あたり約2 GB）：活性化とキャッシュを除いて、最大でおよそ12Bパラメーター。これは記録されたVRAMに基づく計算であり、ベンチマークではありません。

2. 02Ada Lovelaceアーキテクチャ

   アーキテクチャ

   Ada Lovelace

   世代

   Ada

   発売年

   2023

   ライフサイクルのステータス

   Current

   Ada Lovelaceは、FP8に対応した第四世代Tensorコアと、第三世代レイトレーシングコアをもたらしました。 （アーキテクチャに関する一般的な説明であり、この特定のカードについての記述ではありません。）

   2023年発売 Kovaraのレコードでは、現行世代の製品として掲載されています。

3. 03フォームファクターと電力

   NVLink

   非対応

   MIG

   非対応

   フォームファクター

   PCIe low-profile single-slot

   TDP

   72 W

   KovaraのレコードではNVLinkに対応していないため、この製品でのマルチGPUジョブは、データの移動にPCIeまたはサーバー間のネットワークを使用します。

   PCIeカードは、標準的なサーバーやワークステーションの拡張スロットに差し込むため、幅広いシステムに適しています。

   TDPは定格の熱設計電力で、サーバーの電力供給と冷却を計画するための数値です。

4. 04用途

   主な用途（記録）

   AI inference / video / graphics

   これらは、Kovaraがこの製品について記録している用途です。注記はワークロードを一般的に説明したもので、性能を主張するものではありません。

   • AI inferenceトレーニング済みのモデルを実行してリクエストに応答すること。メモリ容量、レイテンシー、リクエストあたりのコストが主な関心事です。
   • video動画のトランスコードと動画分析のパイプライン。
   • graphicsインタラクティブなグラフィックスと、プロフェッショナル向けのデザイン・エンジニアリングアプリケーション。

数値はKovaraのマスターデータで、最終検証日は2026年9月03日です。解説は技術全般を説明するもので、ベンチマークではなく、価格や在庫状況については何も示していません。