ファインチューニング
ファインチューニングは、トレーニング済みのモデルから始めて、お客様のデータに適応させます。ゼロからのトレーニングよりはるかに少ない計算資源で済むため、短期間で柔軟なレンタルが魅力的です。
最も重要なこと
メモリに収まること
モデルとオプティマイザーの状態を保持できるだけのVRAMを持つGPUを選ぶか、速度を少し犠牲にしてメモリを節約する手法を使ってください。
短期・断続的なジョブ
実行は数時間から数日で終わることが多いため、長期契約よりも時間単位の料金とすぐに開始できることが重要です。
シンプルなネットワーク
一つのノードで十分なことが多いため、ハイエンドのクラスターファブリックの追加コストは通常不要です。
再現性
実験を繰り返し実行することになるため、予測しやすい料金と手軽なアクセスが重要です。
典型的な構成
モデルの規模と手法に応じて、複数のGPUを搭載した一つのノード、あるいは大容量メモリのGPU一基。
一般的な購入方法
通常はオンデマンドまたは短期のキャパシティを選びます。ジョブがチェックポイントを作成して再開できるなら、スポットも使えます。
よくある間違い
- 単一ノードのジョブでは使わないクラスターネットワークに料金を払うこと。
- 中断可能なキャパシティでチェックポイントを省略すること。
- データセットの転送とストレージのコストを過小評価すること。
知っておきたい用語
これは一般的なガイダンスであり、特定のプロバイダーや価格を推奨するものではありません。現在のオファリングを確認し、在庫状況と条件はプロバイダーにご確認ください。