Hardware
Hukommelsesbåndbredde
Hvor meget data en GPU kan læse fra eller skrive til sin hukommelse pr. sekund, som regel målt i terabyte pr. sekund.
Hvorfor det er vigtigt
Generering af tekst token for token er ofte begrænset af hukommelsesbåndbredden snarere end af rå regnekraft, så den har stor betydning for inferenshastigheden.
Vil du have et mere dybdegående svar?
Bed Kova om at forklare Hukommelsesbåndbredde i sammenhæng med din workload. Mød Kova →