H100 SXM

仕様の解説

用途：AI Training, AI InferenceとHPC

1. 0180 GBのHBM3メモリ

   VRAM

   80 GB

   メモリタイプ

   HBM3

   メモリ帯域幅

   3.35 TB/s

   HBM（High Bandwidth Memory）は層状に積み重ねられ、同じパッケージ上でプロセッサーのすぐ隣に配置されています。この短く幅の広い経路こそが、HBMを搭載したアクセラレーターにメモリ帯域幅をもたらしています。そのため、大規模モデルの推論やHPCシミュレーションなど、データがコアに届く速度に制約される処理によく選ばれます。

   VRAMはカード上の作業領域です。モデルの重み、アクティベーション、データセットはここに収まる必要があり、収まらない場合は複数のGPUに分割しなければなりません。 16ビット精度での重みだけの目安（パラメーター十億個あたり約2 GB）：活性化とキャッシュを除いて、最大でおよそ40Bパラメーター。これは記録されたVRAMに基づく計算であり、ベンチマークではありません。

2. 02Hopperアーキテクチャ

   アーキテクチャ

   Hopper

   発売年

   2022

   ライフサイクルのステータス

   Previous Generation

   Hopperは、Transformerモデル向けにFP8と16ビットの演算を組み合わせるTransformer Engineと、第四世代Tensorコアを追加しました。 （アーキテクチャに関する一般的な説明であり、この特定のカードについての記述ではありません。）

   2022年発売 Kovaraのレコードでは、前世代の製品として掲載されています。

3. 03複数のGPUへのスケールを前提に設計

   NVLink

   対応

   MIG

   対応

   フォームファクター

   SXM

   TDP

   700 W

   NVLinkはGPUとGPUを直接つなぐリンクです。対応している場合、同じサーバー内のGPUはPCIeだけを使うよりも高速にデータを交換できます。これは、一つのトレーニングジョブを複数のGPUに分散させる際に重要です。

   Multi-Instance GPU（MIG）は、一つの物理GPUを、それぞれ専用のメモリと計算資源を持つ分離されたスライスに分割できます。これにより、複数の小規模なワークロードで一枚のカードを共有できます。

   SXMモジュールは、カードとしてスロットに差し込むのではなく、サーバーのベースボードに直接実装されます。高密度のマルチGPUサーバーで一般的に使われる構成です。

   TDPは定格の熱設計電力で、サーバーの電力供給と冷却を計画するための数値です。

4. 04用途

   主な用途（記録）

   AI Training, AI Inference, HPC

   これらは、Kovaraがこの製品について記録している用途です。注記はワークロードを一般的に説明したもので、性能を主張するものではありません。

   • AI Trainingデータからモデルに学習させること。通常、最も計算資源とメモリを消費する段階で、多くのGPUに分散されることがよくあります。
   • AI Inferenceトレーニング済みのモデルを実行してリクエストに応答すること。メモリ容量、レイテンシー、リクエストあたりのコストが主な関心事です。
   • HPC数値精度とメモリ帯域幅が重要となる、科学・工学シミュレーション。

数値はKovaraのマスターデータで、最終検証日は2026年8月30日です。解説は技術全般を説明するもので、ベンチマークではなく、価格や在庫状況については何も示していません。