A100 40GB SXM

स्पेसिफ़िकेशन, सरल शब्दों में

AI training, inference और HPC के लिए इस्तेमाल होता है

1. 0140 GB HBM2 मेमोरी

   VRAM

   40 GB

   मेमोरी प्रकार

   HBM2

   मेमोरी बैंडविड्थ

   1.555 TB/s

   HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।

   VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 20 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।

2. 02Ampere आर्किटेक्चर

   आर्किटेक्चर

   Ampere

   लॉन्च वर्ष

   2020

   लाइफ़साइकल की स्थिति

   Previous

   Ampere अपने डेटा-सेंटर पार्ट्स में तीसरी पीढ़ी के Tensor Core, TF32 प्रिसिज़न और मल्टी-इंस्टेंस GPU (MIG) लाया। (आर्किटेक्चर के बारे में सामान्य संदर्भ, इस ख़ास कार्ड के बारे में कथन नहीं।)

   2020 में लॉन्च हुआ Kovara के रिकॉर्ड में यह पिछली पीढ़ी के पार्ट के रूप में दर्ज है।

3. 03कई GPU में स्केल करने के लिए बना

   NVLink

   समर्थित

   MIG

   समर्थित

   फ़ॉर्म फ़ैक्टर

   SXM

   TDP

   400 W

   NVLink एक डायरेक्ट GPU-से-GPU लिंक है। जहाँ यह समर्थित है, वहाँ एक ही सर्वर के GPU केवल PCIe की तुलना में तेज़ी से डेटा का आदान-प्रदान कर सकते हैं, जो तब मायने रखता है जब एक ट्रेनिंग जॉब कई GPU में फैला हो।

   मल्टी-इंस्टेंस GPU (MIG) एक भौतिक GPU को अलग-थलग हिस्सों में बाँट सकता है, जिनमें हर एक की अपनी मेमोरी और कंप्यूट होता है, ताकि कई छोटे वर्कलोड एक कार्ड साझा कर सकें।

   SXM मॉड्यूल कार्ड की तरह स्लॉट में लगने के बजाय सीधे सर्वर बेसबोर्ड पर लगाए जाते हैं, यह लेआउट आमतौर पर घने मल्टी-GPU सर्वरों में इस्तेमाल होता है।

   TDP रेटेड थर्मल डिज़ाइन पावर है: सर्वर में पावर डिलीवरी और कूलिंग की योजना बनाने का आँकड़ा।

4. 04इसका उपयोग किसलिए होता है

   मुख्य उपयोग (दर्ज)

   AI training / inference / HPC

   ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।

   • AI trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
   • inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।
   • HPCवैज्ञानिक और इंजीनियरिंग सिमुलेशन, जहाँ संख्यात्मक प्रिसिज़न और मेमोरी बैंडविड्थ मायने रखते हैं।

आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 03 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।