GB300 NVL72 / 288GB per GPU

स्पेसिफ़िकेशन, सरल शब्दों में

Frontier AI training, reasoning inference और HPC के लिए इस्तेमाल होता है

1. 01288 GB HBM3E मेमोरी

   VRAM

   288 GB

   मेमोरी प्रकार

   HBM3E

   मेमोरी बैंडविड्थ

   8 TB/s

   HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।

   VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 144 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।

2. 02Blackwell Ultra + Grace आर्किटेक्चर

   आर्किटेक्चर

   Blackwell Ultra + Grace

   पीढ़ी

   Grace Blackwell Ultra

   लॉन्च वर्ष

   2025

   लाइफ़साइकल की स्थिति

   Current

   2025 में लॉन्च हुआ Kovara के रिकॉर्ड में यह मौजूदा पीढ़ी के पार्ट के रूप में दर्ज है।

3. 03कई GPU में स्केल करने के लिए बना

   NVLink

   समर्थित

   MIG

   समर्थित

   फ़ॉर्म फ़ैक्टर

   Rack-scale NVL module

   TDP

   1400 W

   NVLink एक डायरेक्ट GPU-से-GPU लिंक है। जहाँ यह समर्थित है, वहाँ एक ही सर्वर के GPU केवल PCIe की तुलना में तेज़ी से डेटा का आदान-प्रदान कर सकते हैं, जो तब मायने रखता है जब एक ट्रेनिंग जॉब कई GPU में फैला हो।

   मल्टी-इंस्टेंस GPU (MIG) एक भौतिक GPU को अलग-थलग हिस्सों में बाँट सकता है, जिनमें हर एक की अपनी मेमोरी और कंप्यूट होता है, ताकि कई छोटे वर्कलोड एक कार्ड साझा कर सकें।

   TDP रेटेड थर्मल डिज़ाइन पावर है: सर्वर में पावर डिलीवरी और कूलिंग की योजना बनाने का आँकड़ा।

4. 04इसका उपयोग किसलिए होता है

   मुख्य उपयोग (दर्ज)

   Frontier AI training / reasoning inference / HPC

   ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।

   • Frontier AI trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
   • reasoning inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।
   • HPCवैज्ञानिक और इंजीनियरिंग सिमुलेशन, जहाँ संख्यात्मक प्रिसिज़न और मेमोरी बैंडविड्थ मायने रखते हैं।

आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 03 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।