Training großer Modelle
Das Training eines großen Modells bedeutet, dass viele GPUs gemeinsam an einem Job arbeiten. Der Lauf ist nur so schnell wie sein langsamstes Glied, daher sind Netzwerk und Speicher ebenso wichtig wie das GPU-Modell.
Worauf es am meisten ankommt
GPU-zu-GPU-Bandbreite
Innerhalb eines Servers kommunizieren über NVLink verbundene SXM-GPUs deutlich schneller als PCIe-Karten. Kommunikationsintensive Jobs profitieren am meisten.
Cluster-Netzwerk
Über mehrere Server hinweg halten InfiniBand oder ein gut aufgebautes RoCE-Fabric die GPUs ausgelastet. Fragen Sie nach, welches Netzwerk ein Cluster-Angebot tatsächlich umfasst.
Speicher pro GPU
Mehr HBM pro GPU bedeutet größere Batch-Größen oder weniger Shards. Prüfen Sie den VRAM, bevor Sie Preise vergleichen.
Zusammenhängende Kapazität
Für das Training werden viele GPUs gleichzeitig am selben Ort benötigt, daher ist die bestätigte Verfügbarkeit ebenso wichtig wie der Preis.
Eine typische Konfiguration
Aktuelle Rechenzentrums-GPUs (der Hopper- oder Blackwell-Klasse) im SXM-Formfaktor, acht pro Knoten, verbunden über InfiniBand oder Gleichwertiges, in einer Region.
Wie üblicherweise beschafft wird
Üblich sind Reserved-Kapazität, Kapazität mit Bindung oder ein dedizierter Cluster, da die Läufe lang sind und garantierte Verfügbarkeit benötigen. Bare Metal ist wegen der Kontrolle und der gleichbleibenden Leistung beliebt.
Häufige Fehler
- Preise pro GPU vergleichen, ohne den Interconnect zu prüfen.
- Davon ausgehen, dass ein gelisteter Preis bedeutet, dass die GPUs zu Ihrem Starttermin frei verfügbar sind.
- Egress- und Speicherkosten für Checkpoints und Datensätze außer Acht lassen.
Begriffe, die Sie kennen sollten
Dies ist eine allgemeine Orientierung, keine Empfehlung für einen bestimmten Anbieter oder Preis. Prüfen Sie aktuelle Angebote und bestätigen Sie Verfügbarkeit und Konditionen beim Anbieter.
Möchten Sie sich konkrete Optionen ansehen?
Sehen Sie sich erfasste Angebote mit ihren Quellen und Datumsangaben an oder bitten Sie Kova, die Dimensionierung für Sie zu übernehmen.