Hardware
Geheugenbandbreedte
Hoeveel data een GPU per seconde uit zijn geheugen kan lezen of ernaar kan schrijven, meestal gemeten in terabytes per seconde.
Waarom het ertoe doet
Het token voor token genereren van tekst wordt vaak eerder begrensd door de geheugenbandbreedte dan door ruwe rekenkracht, en heeft dus grote invloed op de inferentiesnelheid.
Gerelateerde termen
Wilt u een diepgaander antwoord?
Vraag Kova om Geheugenbandbreedte uit te leggen in de context van uw workload. Maak kennis met Kova →