Hardware
Larghezza di banda della memoria
Quanti dati una GPU può leggere dalla propria memoria o scrivervi ogni secondo, di solito misurati in terabyte al secondo.
Perché conta
Generare testo token per token è spesso limitato dalla larghezza di banda della memoria più che dalla capacità di calcolo grezza, quindi incide molto sulla velocità di inferenza.
Vuoi una risposta più approfondita?
Chiedi a Kova di spiegare «Larghezza di banda della memoria» nel contesto del tuo carico di lavoro. Conosci Kova →