2 लाइव ऑफ़रिंग · 2 ट्रैक किए गए रीजन
Available in documented zone 1 · Contact sales 1
सबसे कम तुलनीय$3.45 USD / GPU-hour
एक्सेलरेटरGPU0037
AMD
Instinct MI300X 192GB
CDNA 3Instinct MI300192 GB VRAMHBM3OAM ModulePrevious
- लाइव ऑफ़रिंग
- 10
- प्रोवाइडर
- 4
- रीजन
- 4
- तुलनीय कीमत सीमा USD / GPU-hour
- $1.91–$3.45
- नवीनतम जाँच
- 29 सित॰ 2026
एक्सेलरेटर ओवरव्यू
मुख्य हार्डवेयर और लाइफ़साइकल, Kovara मास्टर डेटा से।
मुख्य हार्डवेयर
- आर्किटेक्चर
- CDNA 3
- पीढ़ी
- Instinct MI300
- VRAM
- 192 GB
- मेमोरी प्रकार
- HBM3
- मेमोरी बैंडविड्थ
- 5.3 TB/s
- फ़ॉर्म फ़ैक्टर
- OAM Module
लाइफ़साइकल / उपयोग
- मुख्य उपयोग
- AI training / inference / HPC
- लॉन्च वर्ष
- 2023
- पीढ़ी की स्थिति
- Previous
- अंतिम सत्यापन
- 03 सित॰ 2026
हार्डवेयर विस्तार से
दर्ज स्पेसिफ़िकेशन का व्यवहार में क्या मतलब है, और यह एक्सेलरेटर किस काम आता है।
स्पेसिफ़िकेशन, सरल शब्दों में
AI training, inference और HPC के लिए इस्तेमाल होता है
- VRAM
- 192 GB
- मेमोरी प्रकार
- HBM3
- मेमोरी बैंडविड्थ
- 5.3 TB/s
HBM (हाई बैंडविड्थ मेमोरी) परतों में स्टैक की जाती है और उसी पैकेज पर प्रोसेसर के ठीक बगल में रहती है। यही छोटा, चौड़ा रास्ता HBM वाले एक्सेलरेटर को उनकी मेमोरी बैंडविड्थ देता है, इसलिए उन्हें आमतौर पर ऐसे काम के लिए चुना जाता है जो इस बात से सीमित होता है कि डेटा कितनी तेज़ी से कोर तक पहुँचता है, जैसे बड़े मॉडल का इन्फ़रेंस और HPC सिमुलेशन।
VRAM कार्ड पर कार्य करने की जगह है। मॉडल वेट, एक्टिवेशन और डेटासेट इसमें फ़िट होने चाहिए, या कई GPU में बाँटे जाने चाहिए। केवल वेट के लिए 16-बिट प्रिसिज़न पर अनुमानित नियम (हर एक अरब पैरामीटर पर लगभग 2 GB): एक्टिवेशन और कैश से पहले, लगभग 96 अरब पैरामीटर तक। यह दर्ज VRAM पर किया गया हिसाब है, बेंचमार्क नहीं।
- आर्किटेक्चर
- CDNA 3
- पीढ़ी
- Instinct MI300
- लॉन्च वर्ष
- 2023
- लाइफ़साइकल की स्थिति
- Previous
CDNA 3 चिपलेट डिज़ाइन इस्तेमाल करता है, जिसमें एक ही पैकेज पर कंप्यूट डाई के बगल में स्टैक्ड HBM मेमोरी होती है। (आर्किटेक्चर के बारे में सामान्य संदर्भ, इस ख़ास कार्ड के बारे में कथन नहीं।)
2023 में लॉन्च हुआ Kovara के रिकॉर्ड में यह पिछली पीढ़ी के पार्ट के रूप में दर्ज है।
- फ़ॉर्म फ़ैक्टर
- OAM Module
- TDP
- 750 W
एक्सेलरेटर मॉड्यूल कार्ड की तरह स्लॉट में लगने के बजाय बेसबोर्ड पर लगाए जाते हैं, यह लेआउट घने मल्टी-एक्सेलरेटर सर्वरों में इस्तेमाल होता है।
TDP रेटेड थर्मल डिज़ाइन पावर है: सर्वर में पावर डिलीवरी और कूलिंग की योजना बनाने का आँकड़ा।
- मुख्य उपयोग (दर्ज)
- AI training / inference / HPC
ये वे उपयोग हैं जो Kovara ने इस पार्ट के लिए दर्ज किए हैं। नोट्स वर्कलोड को सामान्य शब्दों में समझाते हैं; ये परफ़ॉर्मेंस के दावे नहीं हैं।
- AI trainingडेटा से किसी मॉडल को सिखाना। आमतौर पर सबसे ज़्यादा कंप्यूट और मेमोरी लेने वाला चरण, जो अक्सर कई GPU में फैला होता है।
- inferenceअनुरोधों का जवाब देने के लिए किसी ट्रेन किए गए मॉडल को चलाना। मेमोरी क्षमता, लेटेंसी और प्रति अनुरोध लागत आम चिंताएँ हैं।
- HPCवैज्ञानिक और इंजीनियरिंग सिमुलेशन, जहाँ संख्यात्मक प्रिसिज़न और मेमोरी बैंडविड्थ मायने रखते हैं।
आँकड़े Kovara मास्टर डेटा हैं, अंतिम सत्यापन 03 सित॰ 2026। व्याख्याएँ तकनीक का सामान्य वर्णन करती हैं; वे बेंचमार्क नहीं हैं और कीमत या उपलब्धता के बारे में कुछ नहीं कहतीं।
इस एक्सेलरेटर को Compute पर देखें- HBM3 स्टैक
- GPU डाई
- इंटरपोज़र
- बोर्ड
- पावर
- इनपुट
- आउटपुट
- मॉड्यूल कनेक्टर
प्रतीकात्मक चित्र192 GB HBM3 मेमोरी01
