Hardware
Przepustowość pamięci
Ilość danych, jaką GPU może co sekundę odczytać z pamięci lub do niej zapisać, zwykle mierzona w terabajtach na sekundę.
Dlaczego to ważne
Generowanie tekstu token po tokenie jest często ograniczone przepustowością pamięci, a nie surową mocą obliczeniową, więc silnie wpływa na szybkość inferencji.
Powiązane terminy
Chcesz dokładniejszej odpowiedzi?
Poproś asystenta Kova o wyjaśnienie pojęcia Przepustowość pamięci w kontekście twojego obciążenia. Poznaj asystenta Kova →