Hardware
Speicherbandbreite
Wie viele Daten eine GPU pro Sekunde aus ihrem Speicher lesen oder in ihn schreiben kann, üblicherweise gemessen in Terabyte pro Sekunde.
Warum das wichtig ist
Das Erzeugen von Text Token für Token wird oft eher durch die Speicherbandbreite als durch die reine Rechenleistung begrenzt; sie beeinflusst die Inferenzgeschwindigkeit daher stark.
Möchten Sie eine ausführlichere Antwort?
Bitten Sie Kova, Speicherbandbreite im Kontext Ihres Workloads zu erklären. Lernen Sie Kova kennen →