Muistin kaistanleveys

Kuinka paljon dataa GPU voi lukea muististaan tai kirjoittaa sen muistiin joka sekunti, yleensä teratavuina sekunnissa.

Miksi tämä on tärkeää

Tekstin tuottamista token kerrallaan rajoittaa usein muistin kaistanleveys eikä raaka laskentateho, joten se vaikuttaa voimakkaasti inferenssin nopeuteen.

Liittyvät termit

HBM Inferenssi

Haluatko tarkemman vastauksen?

Pyydä Kova-agenttia selittämään Muistin kaistanleveys työkuormasi yhteydessä. Tutustu Kova-agenttiin →