Charges de travail d’IA
KV cache
Mémoire qui stocke les résultats intermédiaires de l’attention pendant qu’un modèle de langage génère du texte, afin qu’ils n’aient pas à être recalculés.
Vous souhaitez une réponse plus approfondie ?
Demandez à Kova d’expliquer KV cache dans le contexte de votre charge de travail.