Gaudi 3 128GB

स्पेसिफ़िकेशन, सरल शब्दों में

AI training और inference के लिए इस्तेमाल होता है

1. 01128 GB HBM2E मेमोरी

   VRAM

   128 GB

   मेमोरी प्रकार

   HBM2E

   मेमोरी बैंडविड्थ

   3.7 TB/s

   HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।

   VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 64 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।

2. 02Gaudi3 आर्किटेक्चर

   आर्किटेक्चर

   Gaudi3

   पीढ़ी

   Gaudi 3

   लॉन्च वर्ष

   2024

   लाइफ़साइकल की स्थिति

   Current

   Gaudi, Intel की AI एक्सेलरेटर लाइन है, जो डीप-लर्निंग ट्रेनिंग और इन्फ़रेंस के लिए बनी है और जिसकी चिप में ही नेटवर्किंग शामिल है। (आर्किटेक्चर के बारे में सामान्य संदर्भ, इस ख़ास कार्ड के बारे में कथन नहीं।)

   2024 में लॉन्च हुआ Kovara के रिकॉर्ड में यह मौजूदा पीढ़ी के पार्ट के रूप में दर्ज है।

3. 03इसका उपयोग किसलिए होता है

   मुख्य उपयोग (दर्ज)

   AI training / inference

   ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।

   • AI trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
   • inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।

आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 25 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।