KI-Workloads
KV cache
Speicher, der Zwischenergebnisse der Attention ablegt, während ein Sprachmodell Text erzeugt, damit sie nicht neu berechnet werden müssen.
Möchten Sie eine ausführlichere Antwort?
Bitten Sie Kova, KV cache im Kontext Ihres Workloads zu erklären.