Hardware
Minnesbandbredd
Hur mycket data en GPU kan läsa från eller skriva till sitt minne varje sekund, oftast mätt i terabyte per sekund.
Varför det spelar roll
Att generera text token för token begränsas ofta av minnesbandbredden snarare än av ren beräkningskraft, så det påverkar inferenshastigheten kraftigt.
Vill du ha ett djupare svar?
Be Kova förklara Minnesbandbredd utifrån din arbetslast. Möt Kova →