Bande passante de GPU à GPU
Au sein d’un serveur, les GPU SXM reliés par NVLink communiquent bien plus vite que les cartes PCIe. Les tâches à forte intensité de communication en profitent le plus.
Loading
Traduction de l’anglais. En cas de divergence, la version anglaise prévaut.
Entraîner un grand modèle suppose que de nombreux GPU travaillent ensemble sur une seule tâche. L’exécution n’est aussi rapide que son maillon le plus lent : le réseau et la mémoire comptent donc autant que le modèle de GPU.
Au sein d’un serveur, les GPU SXM reliés par NVLink communiquent bien plus vite que les cartes PCIe. Les tâches à forte intensité de communication en profitent le plus.
D’un serveur à l’autre, InfiniBand ou un réseau RoCE bien conçu permet de garder les GPU occupés. Demandez quel réseau comprend réellement une offre de cluster.
Davantage de HBM par GPU permet de traiter des lots plus grands ou d’utiliser moins de shards. Vérifiez la VRAM avant de comparer les prix.
L’entraînement exige de nombreux GPU au même endroit au même moment : la disponibilité confirmée compte donc autant que le prix.
GPU de centre de données récents (classe Hopper ou Blackwell) au format SXM, huit par nœud, reliés par InfiniBand ou équivalent, dans une seule région.
La capacité reserved ou avec engagement, ou encore un cluster dédié, est courante, car les exécutions sont longues et exigent une disponibilité garantie. Le bare metal est apprécié pour le contrôle qu’il offre et la régularité des performances.
Il s’agit d’un guide général, et non d’une recommandation portant sur un fournisseur ou un prix précis. Consultez les offres actuelles et confirmez la disponibilité et les conditions auprès du fournisseur.
Consultez les offres suivies avec leurs sources et leurs dates, ou demandez à Kova de faire le dimensionnement pour vous.