Capacidad de memoria
Los pesos del modelo y la caché KV deben caber en la VRAM. Los contextos largos y muchos usuarios simultáneos hacen crecer la caché con rapidez.
Loading
Traducción del inglés. En caso de discrepancia, prevalece la versión en inglés.
La inferencia se ejecuta de forma continua en cuanto tienes usuarios. Suele estar limitada por la memoria más que por la capacidad de cómputo bruta, y el costo depende de cuántas solicitudes puede atender cada GPU.
Los pesos del modelo y la caché KV deben caber en la VRAM. Los contextos largos y muchos usuarios simultáneos hacen crecer la caché con rapidez.
Generar texto token a token suele estar limitado por la rapidez con la que se puede leer la memoria, así que el ancho de banda influye mucho en la velocidad.
Ejecutar cerca de tus usuarios reduce la latencia, y las normas de residencia de datos pueden determinar la región por ti.
El tráfico sube y baja. Poder añadir o quitar GPU importa más que en una ejecución de entrenamiento de tamaño fijo.
De una a ocho GPU por réplica del modelo, elegidas para que los pesos y la caché quepan con holgura. Las GPU con más memoria pueden servir modelos más grandes con menos tarjetas.
Lo habitual es combinar: capacidad reservada o con compromiso para la carga base y on-demand para los picos. Spot solo es adecuado para trabajos que toleran interrupciones.
Esta es una guía general, no una recomendación sobre un proveedor o un precio concretos. Consulta las ofertas actuales y confirma la disponibilidad y las condiciones con el proveedor.
Consulta las ofertas en seguimiento con sus fuentes y fechas, o pide a Kova que lo dimensione por ti.