GH200 96GB HBM3

स्पेसिफ़िकेशन, सरल शब्दों में

AI training, inference और HPC के लिए इस्तेमाल होता है

1. 0196 GB HBM3 मेमोरी

   VRAM

   96 GB

   मेमोरी प्रकार

   HBM3

   मेमोरी बैंडविड्थ

   4 TB/s

   HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।

   VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 48 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।

2. 02Hopper + Grace आर्किटेक्चर

   आर्किटेक्चर

   Hopper + Grace

   पीढ़ी

   Grace Hopper

   लॉन्च वर्ष

   2023

   लाइफ़साइकल की स्थिति

   Previous

   Grace Hopper एक ही सुपरचिप में Hopper GPU को Arm-आधारित Grace CPU के साथ जोड़ता है। (आर्किटेक्चर के बारे में सामान्य संदर्भ, इस ख़ास कार्ड के बारे में कथन नहीं।)

   2023 में लॉन्च हुआ Kovara के रिकॉर्ड में यह पिछली पीढ़ी के पार्ट के रूप में दर्ज है।

3. 03कई GPU में स्केल करने के लिए बना

   NVLink

   समर्थित

   MIG

   समर्थित

   फ़ॉर्म फ़ैक्टर

   Grace Hopper Superchip

   TDP

   900 W

   NVLink एक डायरेक्ट GPU-से-GPU लिंक है। जहाँ यह समर्थित है, वहाँ एक ही सर्वर के GPU केवल PCIe की तुलना में तेज़ी से डेटा का आदान-प्रदान कर सकते हैं, जो तब मायने रखता है जब एक ट्रेनिंग जॉब कई GPU में फैला हो।

   मल्टी-इंस्टेंस GPU (MIG) एक भौतिक GPU को अलग-थलग हिस्सों में बाँट सकता है, जिनमें हर एक की अपनी मेमोरी और कंप्यूट होता है, ताकि कई छोटे वर्कलोड एक कार्ड साझा कर सकें।

   TDP रेटेड थर्मल डिज़ाइन पावर है: सर्वर में पावर डिलीवरी और कूलिंग की योजना बनाने का आँकड़ा।

4. 04इसका उपयोग किसलिए होता है

   मुख्य उपयोग (दर्ज)

   AI training / inference / HPC

   ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।

   • AI trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
   • inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।
   • HPCवैज्ञानिक और इंजीनियरिंग सिमुलेशन, जहाँ संख्यात्मक प्रिसिज़न और मेमोरी बैंडविड्थ मायने रखते हैं।

आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 03 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।