शब्दावली
कंप्यूट की भाषा।
51 शब्द, GPU और नेटवर्किंग से लेकर डेटा सेंटर और ख़रीद मॉडल तक, बिना जार्गन के समझाए गए।
हार्डवेयर
एक्सेलरेटरAI जैसे ख़ास वर्कलोड को तेज़ करने के लिए डिज़ाइन की गई चिप। GPU सबसे जाने-माने एक्सेलरेटर हैं; अन्य में TPU और कस्टम AI चिप शामिल हैं।मेमोरी बैंडविड्थएक GPU हर सेकंड अपनी मेमोरी से कितना डेटा पढ़ या उसमें लिख सकता है, आमतौर पर टेराबाइट प्रति सेकंड में मापा जाता है।A100NVIDIA का Ampere-पीढ़ी का डेटा सेंटर GPU, H100 का पूर्ववर्ती।B200Blackwell पीढ़ी का NVIDIA डेटा सेंटर GPU, Hopper के बाद आने वाला आर्किटेक्चर।FLOPSफ़्लोटिंग-पॉइंट ऑपरेशन प्रति सेकंड: कच्चे कंप्यूटिंग थ्रूपुट का एक पैमाना, जिसे अक्सर टेराफ़्लॉप्स या पेटाफ़्लॉप्स में बताया जाता है।GPUग्राफ़िक्स प्रोसेसिंग यूनिट: एक चिप जो कई गणनाएँ समानांतर चलाने के लिए बनी है। GPU, AI मॉडल को ट्रेन करने और चलाने का मुख्य हार्डवेयर हैं।H100NVIDIA का Hopper-पीढ़ी का डेटा सेंटर GPU, जो AI ट्रेनिंग और इन्फ़रेंस के लिए बड़े पैमाने पर इस्तेमाल होता है। यह कई फ़ॉर्म फ़ैक्टर में आता है, जिनमें SXM और PCIe शामिल हैं।H200NVIDIA का Hopper-पीढ़ी का GPU, जो H100 के कंप्यूट डिज़ाइन को बड़ी और तेज़ मेमोरी के साथ जोड़ता है।HBMहाई बैंडविड्थ मेमोरी: GPU चिप के बगल में रखी गई स्टैक्ड मेमोरी, ताकि डेटा बहुत तेज़ी से उसमें आ-जा सके।MI300XAI और हाई-परफ़ॉर्मेंस कंप्यूटिंग के लिए AMD का Instinct MI300X डेटा सेंटर एक्सेलरेटर।PCIePCI Express: GPU और सर्वर के बाक़ी हिस्से के बीच का मानक कनेक्शन। PCIe GPU कार्ड के रूप में लगते हैं।SXMNVIDIA का सॉकेट वाला GPU फ़ॉर्म फ़ैक्टर, जो सीधे सर्वर बोर्ड पर लगता है और NVLink तथा अधिक पावर के लिए डिज़ाइन किया गया है।Tensor CoreNVIDIA GPU के भीतर विशेष यूनिट, जो AI के केंद्र में मौजूद मैट्रिक्स गणित को सामान्य-उद्देश्य वाले कोर से कहीं तेज़ी से करती हैं।VRAMGPU पर मौजूद मेमोरी, जिसे गीगाबाइट में मापा जाता है। GPU के चलने के दौरान इसमें मॉडल वेट, कार्यशील डेटा और कैश रहते हैं।
नेटवर्किंग
InfiniBandबहुत कम लेटेंसी वाली एक हाई-परफ़ॉर्मेंस नेटवर्किंग तकनीक, जो AI ट्रेनिंग क्लस्टर में सर्वरों को जोड़ने के लिए बड़े पैमाने पर इस्तेमाल होती है।NVLinkNVIDIA का हाई-स्पीड लिंक, जो सर्वर के भीतर GPU को सीधे एक-दूसरे से जोड़ता है, सामान्य PCIe बस से कहीं ज़्यादा तेज़।NVSwitchएक स्विच चिप, जो NVLink से जुड़े सर्वर में हर GPU को बाक़ी हर GPU से पूरी गति पर संवाद करने देती है।RoCERDMA over Converged Ethernet: Ethernet नेटवर्क पर InfiniBand जैसे डायरेक्ट मेमोरी ट्रांसफ़र पाने का एक तरीका।
AI वर्कलोड
इन्फ़रेंसउपयोगकर्ताओं के लिए जवाब या अनुमान तैयार करने के लिए किसी ट्रेन किए गए मॉडल को चलाना।ट्रेनिंगबड़ी मात्रा में डेटा प्रोसेस करके और उसके पैरामीटर समायोजित करके किसी मॉडल को सिखाना। इसके लिए कई GPU को दिनों या हफ़्तों तक साथ काम करना पड़ता है।प्रिसिज़न (FP8, BF16, FP16)गणनाओं में इस्तेमाल होने वाला नंबर फ़ॉर्मेट। FP8 जैसी कम प्रिसिज़न कम मेमोरी लेती है और तेज़ चलती है, लेकिन संख्यात्मक सटीकता में कुछ कमी के साथ।फ़ाइन-ट्यूनिंगकिसी मौजूदा मॉडल को किसी काम के अनुकूल बनाने के लिए छोटे, विशिष्ट डेटासेट पर उसकी आगे की ट्रेनिंग।KV कैशवह मेमोरी जो भाषा मॉडल के टेक्स्ट जनरेट करते समय अटेंशन के मध्यवर्ती परिणाम रखती है, ताकि उन्हें दोबारा गणना न करनी पड़े।MIGमल्टी-इंस्टेंस GPU: NVIDIA की एक सुविधा, जो एक GPU को कई अलग-थलग छोटे GPU में बाँटती है।
डेटा सेंटर
कोलोकेशनअपना हार्डवेयर रखने के लिए किसी और के डेटा सेंटर में जगह, पावर और कूलिंग किराए पर लेना।डेटा रेज़िडेंसीयह आवश्यकता कि डेटा किसी ख़ास देश या रीजन में संग्रहीत और प्रोसेस किया जाए।मेगावाट (MW)पावर की एक इकाई, जो दस लाख वाट के बराबर है। डेटा सेंटर की क्षमता आमतौर पर उपलब्ध पावर के मेगावाट में बताई जाती है।रीजनएक भौगोलिक क्षेत्र जहाँ कोई प्रोवाइडर क्षमता ऑफ़र करता है, जैसे कोई शहर, मेट्रो या देश।रैक घनत्वहर सर्वर रैक को कितनी पावर दी जा सकती है और कितना ठंडा किया जा सकता है, किलोवाट प्रति रैक में मापा जाता है।लिक्विड कूलिंगहवा के बजाय तरल से गर्मी हटाना, या तो चिप पर या पूरे रैक में। यह हवा की तुलना में कहीं अधिक पावर घनत्व संभाल लेती है।PUEपावर यूसेज इफ़ेक्टिवनेस: फ़ैसिलिटी की कुल ऊर्जा को IT उपकरणों द्वारा इस्तेमाल की गई ऊर्जा से भाग देने पर मिलने वाला मान। 1 के जितना करीब मान, उतनी कम ऊर्जा कूलिंग जैसे ओवरहेड पर ख़र्च होती है।TDPथर्मल डिज़ाइन पावर: एक चिप को जितनी गर्मी पैदा करने के लिए डिज़ाइन किया गया है, और लगभग वह पावर जो वह लोड के दौरान लेती है, वाट में।
कंप्यूट ख़रीदना
ईग्रेसप्रोवाइडर के नेटवर्क से बाहर जाने वाला डेटा, जिसके लिए कुछ प्रोवाइडर प्रति गीगाबाइट शुल्क लेते हैं।क्लस्टरतेज़ नेटवर्क से जुड़े सर्वरों का समूह, ताकि वे मिलकर एक जॉब पर काम कर सकें।नियोक्लाउडएक नया क्लाउड प्रोवाइडर, जो सामान्य-उद्देश्य वाली क्लाउड सेवाओं के बजाय GPU और AI इंफ्रास्ट्रक्चर में विशेषज्ञता रखता है।नोडक्लस्टर का एक सर्वर। एक GPU नोड में आमतौर पर कई GPU होते हैं, अक्सर आठ।प्रतिबद्ध अवधिवह अवधि जिसके लिए ख़रीदार क्षमता का भुगतान करने पर सहमत होता है, जैसे एक, तीन या बारह महीने।रिज़र्व्ड क्षमताकम कीमत या गारंटीड उपलब्धता के बदले एक तय अवधि, अक्सर कई महीनों, के लिए कंप्यूट इस्तेमाल करने की प्रतिबद्धता।स्पॉट (इंटरप्टिबल)छूट पर ऑफ़र की गई अतिरिक्त क्षमता, जिसे प्रोवाइडर कम सूचना पर वापस ले सकता है।हाइपरस्केलरएक बहुत बड़ा क्लाउड प्रोवाइडर, जैसे प्रमुख पब्लिक क्लाउड, जो वैश्विक पैमाने पर डेटा सेंटर चलाता है।Bare metalपूरा भौतिक सर्वर किराए पर लेना, जिसमें आपके और हार्डवेयर के बीच कोई वर्चुअलाइज़ेशन लेयर नहीं होती।GPU-hourएक GPU का एक घंटे तक उपयोग। यह कंप्यूट कीमतों की तुलना की मानक इकाई है।On-demandबिना लंबी प्रतिबद्धता के घंटे या मिनट के हिसाब से कंप्यूट किराए पर लेना। आप उपलब्धता के अधीन जब चाहें शुरू और बंद कर सकते हैं।SLAसर्विस लेवल एग्रीमेंट: अपटाइम जैसी चीज़ों पर प्रोवाइडर की लिखित प्रतिबद्धता, और चूक होने पर उपाय।
Kovara
उपलब्धता की स्थितिकोई ऑफ़रिंग उपलब्ध, सीमित या अनुपलब्ध है, या जब स्रोत कुछ नहीं बताता तो अज्ञात।कॉन्फ़िडेंस ग्रेडKovara की A–D रेटिंग, जो बताती है कि कोई तथ्य कितनी अच्छी तरह समर्थित है: A अत्यधिक सत्यापित, B ठोस साक्ष्य, C अपूर्ण साक्ष्य, D अनुमान या असत्यापित।फ़िक्सिंगCompute Index का एक आधिकारिक प्रकाशित बेंचमार्क मान, जो इस्तेमाल किए गए कार्यप्रणाली संस्करण के साथ दर्ज होता है और कभी चुपचाप दोबारा नहीं लिखा जाता।सत्यापित प्रोवाइडरऐसा प्रोवाइडर जिसकी पहचान की समीक्षा Kovara में किसी व्यक्ति ने की है। यह दर्जा कभी स्वचालित रूप से नहीं दिया जाता।सांकेतिक कीमतएक लाइव अनुमान, जिसे आधिकारिक फ़िक्सिंग के रूप में प्रकाशित नहीं किया गया है। इस पर सांकेतिक का लेबल होता है ताकि इसे कभी फ़िक्सिंग न समझा जाए।सामान्यीकृत कीमतएक सामान्य इकाई में बदली गई कीमत, जैसे प्रति GPU-hour अमेरिकी डॉलर, ताकि अलग-अलग ऑफ़र की तुलना की जा सके।Compute Indexकंप्यूट कीमतों और उपलब्धता के लिए Kovara का बेंचमार्क, जिसकी गणना स्वतंत्र प्रोवाइडर योगदानों से प्रकाशित कार्यप्रणाली के साथ की जाती है।
कोई शब्द नहीं मिला?
Kova से चिप, नेटवर्किंग या डेटा सेंटर के बारे में कुछ भी समझाने को कहें, या हमें बताएँ कि क्या जोड़ना है।