Rubin GPU 288GB HBM4

स्पेसिफ़िकेशन, सरल शब्दों में

AI training, inference और HPC के लिए इस्तेमाल होता है

1. 01288 GB HBM4 मेमोरी

   VRAM

   288 GB

   मेमोरी प्रकार

   HBM4

   मेमोरी बैंडविड्थ

   22 TB/s

   HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।

   VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 144 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।

2. 02Rubin आर्किटेक्चर

   आर्किटेक्चर

   Rubin

   पीढ़ी

   Vera Rubin

   लॉन्च वर्ष

   2026

   लाइफ़साइकल की स्थिति

   Current

   2026 में लॉन्च हुआ Kovara के रिकॉर्ड में यह मौजूदा पीढ़ी के पार्ट के रूप में दर्ज है।

3. 03कई GPU में स्केल करने के लिए बना

   NVLink

   समर्थित

   MIG

   समर्थित

   फ़ॉर्म फ़ैक्टर

   Rack-scale / liquid-cooled module

   NVLink एक डायरेक्ट GPU-से-GPU लिंक है। जहाँ यह समर्थित है, वहाँ एक ही सर्वर के GPU केवल PCIe की तुलना में तेज़ी से डेटा का आदान-प्रदान कर सकते हैं, जो तब मायने रखता है जब एक ट्रेनिंग जॉब कई GPU में फैला हो।

   मल्टी-इंस्टेंस GPU (MIG) एक भौतिक GPU को अलग-थलग हिस्सों में बाँट सकता है, जिनमें हर एक की अपनी मेमोरी और कंप्यूट होता है, ताकि कई छोटे वर्कलोड एक कार्ड साझा कर सकें।

4. 04इसका उपयोग किसलिए होता है

   मुख्य उपयोग (दर्ज)

   AI training / inference / HPC

   ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।

   • AI trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
   • inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।
   • HPCवैज्ञानिक और इंजीनियरिंग सिमुलेशन, जहाँ संख्यात्मक प्रिसिज़न और मेमोरी बैंडविड्थ मायने रखते हैं।

आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 03 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।