हार्डवेयर
मेमोरी बैंडविड्थ
एक GPU हर सेकंड अपनी मेमोरी से कितना डेटा पढ़ या उसमें लिख सकता है, आमतौर पर टेराबाइट प्रति सेकंड में मापा जाता है।
यह क्यों मायने रखता है
टेक्स्ट को टोकन-दर-टोकन जनरेट करना अक्सर कच्चे कंप्यूट के बजाय मेमोरी बैंडविड्थ से सीमित होता है, इसलिए इसका इन्फ़रेंस की गति पर गहरा असर पड़ता है।
और गहराई से जवाब चाहिए?
Kova से कहें कि वह आपके वर्कलोड के संदर्भ में मेमोरी बैंडविड्थ समझाए। Kova से मिलें →