H20 96GB

स्पेसिफ़िकेशन, सरल शब्दों में

AI inference, training और China-market AI compute के लिए इस्तेमाल होता है

1. 0196 GB HBM3 मेमोरी

   VRAM

   96 GB

   मेमोरी प्रकार

   HBM3

   मेमोरी बैंडविड्थ

   4 TB/s

   HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।

   VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 48 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।

2. 02Hopper आर्किटेक्चर

   आर्किटेक्चर

   Hopper

   लॉन्च वर्ष

   2024

   लाइफ़साइकल की स्थिति

   Current

   Hopper ने Transformer Engine जोड़ा, जो ट्रांसफ़ॉर्मर मॉडल के लिए FP8 और 16-बिट गणित को मिलाता है, साथ ही चौथी पीढ़ी के Tensor Core भी। (आर्किटेक्चर के बारे में सामान्य संदर्भ, इस ख़ास कार्ड के बारे में कथन नहीं।)

   2024 में लॉन्च हुआ Kovara के रिकॉर्ड में यह मौजूदा पीढ़ी के पार्ट के रूप में दर्ज है।

3. 03कई GPU में स्केल करने के लिए बना

   NVLink

   समर्थित

   MIG

   समर्थित

   फ़ॉर्म फ़ैक्टर

   HGX SXM5 / 8-GPU platform

   TDP

   400 W

   NVLink एक डायरेक्ट GPU-से-GPU लिंक है। जहाँ यह समर्थित है, वहाँ एक ही सर्वर के GPU केवल PCIe की तुलना में तेज़ी से डेटा का आदान-प्रदान कर सकते हैं, जो तब मायने रखता है जब एक ट्रेनिंग जॉब कई GPU में फैला हो।

   मल्टी-इंस्टेंस GPU (MIG) एक भौतिक GPU को अलग-थलग हिस्सों में बाँट सकता है, जिनमें हर एक की अपनी मेमोरी और कंप्यूट होता है, ताकि कई छोटे वर्कलोड एक कार्ड साझा कर सकें।

   SXM मॉड्यूल कार्ड की तरह स्लॉट में लगने के बजाय सीधे सर्वर बेसबोर्ड पर लगाए जाते हैं, यह लेआउट आमतौर पर घने मल्टी-GPU सर्वरों में इस्तेमाल होता है।

   TDP रेटेड थर्मल डिज़ाइन पावर है: सर्वर में पावर डिलीवरी और कूलिंग की योजना बनाने का आँकड़ा।

4. 04इसका उपयोग किसलिए होता है

   मुख्य उपयोग (दर्ज)

   AI inference / training / China-market AI compute

   ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।

   • AI inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।
   • trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
   • China-market AI compute

आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 03 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।