GPU-zu-GPU-Bandbreite
Innerhalb eines Servers kommunizieren über NVLink verbundene SXM-GPUs deutlich schneller als PCIe-Karten. Kommunikationsintensive Jobs profitieren am meisten.
Loading
Übersetzung aus dem Englischen. Bei Abweichungen gilt die englische Fassung.
Das Training eines großen Modells bedeutet, dass viele GPUs gemeinsam an einem Job arbeiten. Der Lauf ist nur so schnell wie sein langsamstes Glied, daher sind Netzwerk und Speicher ebenso wichtig wie das GPU-Modell.
Innerhalb eines Servers kommunizieren über NVLink verbundene SXM-GPUs deutlich schneller als PCIe-Karten. Kommunikationsintensive Jobs profitieren am meisten.
Über mehrere Server hinweg halten InfiniBand oder ein gut aufgebautes RoCE-Fabric die GPUs ausgelastet. Fragen Sie nach, welches Netzwerk ein Cluster-Angebot tatsächlich umfasst.
Mehr HBM pro GPU bedeutet größere Batch-Größen oder weniger Shards. Prüfen Sie den VRAM, bevor Sie Preise vergleichen.
Für das Training werden viele GPUs gleichzeitig am selben Ort benötigt, daher ist die bestätigte Verfügbarkeit ebenso wichtig wie der Preis.
Aktuelle Rechenzentrums-GPUs (der Hopper- oder Blackwell-Klasse) im SXM-Formfaktor, acht pro Knoten, verbunden über InfiniBand oder Gleichwertiges, in einer Region.
Üblich sind Reserved-Kapazität, Kapazität mit Bindung oder ein dedizierter Cluster, da die Läufe lang sind und garantierte Verfügbarkeit benötigen. Bare Metal ist wegen der Kontrolle und der gleichbleibenden Leistung beliebt.
Dies ist eine allgemeine Orientierung, keine Empfehlung für einen bestimmten Anbieter oder Preis. Prüfen Sie aktuelle Angebote und bestätigen Sie Verfügbarkeit und Konditionen beim Anbieter.
Sehen Sie sich erfasste Angebote mit ihren Quellen und Datumsangaben an oder bitten Sie Kova, die Dimensionierung für Sie zu übernehmen.