Hardware
Ancho de banda de memoria
La cantidad de datos que una GPU puede leer de su memoria o escribir en ella cada segundo, que suele medirse en terabytes por segundo.
Por qué importa
La generación de texto token a token suele estar limitada por el ancho de banda de memoria más que por la capacidad de cómputo bruta, por lo que influye mucho en la velocidad de inferencia.
Términos relacionados
¿Quieres una respuesta más detallada?
Pide a Kova que explique Ancho de banda de memoria en el contexto de tu carga de trabajo. Conoce a Kova →