Maskinvare
Minnebåndbredde
Hvor mye data en GPU kan lese fra eller skrive til minnet sitt hvert sekund, vanligvis målt i terabyte per sekund.
Hvorfor det er viktig
Tekstgenerering token for token begrenses ofte av minnebåndbredde snarere enn rå datakraft, så den påvirker inferenshastigheten sterkt.
Vil du ha et grundigere svar?
Be Kova forklare Minnebåndbredde i sammenheng med arbeidslasten din. Møt Kova →