Ancho de banda de GPU a GPU
Dentro de un servidor, las GPU SXM conectadas con NVLink se comunican mucho más rápido que las tarjetas PCIe. Las tareas con mucha comunicación son las que más se benefician.
Loading
Traducción del inglés. En caso de discrepancia, prevalece la versión en inglés.
Entrenar un modelo grande implica que muchas GPU trabajen juntas en una sola tarea. La ejecución es tan rápida como su eslabón más lento, así que la red y la memoria importan tanto como el modelo de GPU.
Dentro de un servidor, las GPU SXM conectadas con NVLink se comunican mucho más rápido que las tarjetas PCIe. Las tareas con mucha comunicación son las que más se benefician.
Entre servidores, InfiniBand o una red RoCE bien diseñada mantiene ocupadas las GPU. Pregunta qué red incluye realmente una oferta de cluster.
Más HBM por GPU significa tamaños de lote mayores o menos particiones. Revisa la VRAM antes de comparar precios.
El entrenamiento necesita muchas GPU en el mismo lugar y al mismo tiempo, así que la disponibilidad confirmada importa tanto como el precio.
GPU recientes para centros de datos (de clase Hopper o Blackwell) con factor de forma SXM, ocho por nodo, conectadas mediante InfiniBand o equivalente, en una sola región.
Es habitual la capacidad reservada o con compromiso, o un cluster dedicado, porque las ejecuciones son largas y requieren disponibilidad garantizada. El bare metal es popular por el control y el rendimiento constante.
Esta es una guía general, no una recomendación sobre un proveedor o un precio concretos. Consulta las ofertas actuales y confirma la disponibilidad y las condiciones con el proveedor.
Consulta las ofertas en seguimiento con sus fuentes y fechas, o pide a Kova que lo dimensione por ti.