Matériel
Bande passante mémoire
La quantité de données qu’un GPU peut lire dans sa mémoire ou y écrire chaque seconde, généralement mesurée en téraoctets par seconde.
Pourquoi c’est important
La génération de texte token par token est souvent limitée par la bande passante mémoire plutôt que par la puissance de calcul brute ; la bande passante mémoire influe donc fortement sur la vitesse d’inférence.
Vous souhaitez une réponse plus approfondie ?
Demandez à Kova d’expliquer Bande passante mémoire dans le contexte de votre charge de travail. Découvrez Kova →