A100 MIG 20GB slice

仕様の解説

用途：AI trainingとinference

1. 0120 GBのメモリ

   VRAM

   20 GB

   VRAMはカード上の作業領域です。モデルの重み、アクティベーション、データセットはここに収まる必要があり、収まらない場合は複数のGPUに分割しなければなりません。 16ビット精度での重みだけの目安（パラメーター十億個あたり約2 GB）：活性化とキャッシュを除いて、最大でおよそ10Bパラメーター。これは記録されたVRAMに基づく計算であり、ベンチマークではありません。

2. 02Ampereアーキテクチャ

   アーキテクチャ

   Ampere

   発売年

   2020

   ライフサイクルのステータス

   Previous

   Ampereは、データセンター向け製品に第三世代Tensorコア、TF32精度、Multi-Instance GPU（MIG）をもたらしました。 （アーキテクチャに関する一般的な説明であり、この特定のカードについての記述ではありません。）

   2020年発売 Kovaraのレコードでは、前世代の製品として掲載されています。

3. 03電力と冷却

   MIG

   対応

   Multi-Instance GPU（MIG）は、一つの物理GPUを、それぞれ専用のメモリと計算資源を持つ分離されたスライスに分割できます。これにより、複数の小規模なワークロードで一枚のカードを共有できます。

4. 04用途

   主な用途（記録）

   AI training / inference

   これらは、Kovaraがこの製品について記録している用途です。注記はワークロードを一般的に説明したもので、性能を主張するものではありません。

   • AI trainingデータからモデルに学習させること。通常、最も計算資源とメモリを消費する段階で、多くのGPUに分散されることがよくあります。
   • inferenceトレーニング済みのモデルを実行してリクエストに応答すること。メモリ容量、レイテンシー、リクエストあたりのコストが主な関心事です。

数値はKovaraのマスターデータで、最終検証日は2026年9月25日です。解説は技術全般を説明するもので、ベンチマークではなく、価格や在庫状況については何も示していません。