Hardware
Пропускна здатність пам’яті
Скільки даних GPU може прочитати зі своєї пам’яті або записати в неї щосекунди; зазвичай вимірюється в терабайтах за секунду.
Чому це важливо
Генерація тексту токен за токеном часто обмежена пропускною здатністю пам’яті, а не чистою обчислювальною потужністю, тож вона сильно впливає на швидкість інференсу.
Потрібна докладніша відповідь?
Попросіть Kova пояснити Пропускна здатність пам’яті у контексті вашого навантаження. Знайомтеся: Kova →