H100 SXM

المواصفات مشروحة

يُستخدم في AI Training, AI Inference وHPC

1. 0180 GB من ذاكرة HBM3

   VRAM

   80 GB

   نوع الذاكرة

   HBM3

   عرض النطاق الترددي للذاكرة

   3.35 TB/s

   تُكدَّس ذاكرة HBM (الذاكرة عالية النطاق الترددي) في طبقات وتقع بجوار المعالج مباشرة على الحزمة نفسها. وهذا المسار القصير والعريض هو ما يمنح المسرعات المزودة بـ HBM عرض النطاق الترددي لذاكرتها، لذا تُختار عادةً للأعمال المحدودة بسرعة وصول البيانات إلى الأنوية، مثل الاستدلال على النماذج الكبيرة ومحاكاة HPC.

   VRAM هي مساحة العمل على البطاقة. ويجب أن تتسع لها أوزان النموذج والتنشيطات ومجموعات البيانات، أو أن تُقسَّم على عدة وحدات GPU. قاعدة تقريبية للأوزان وحدها بدقة 16-bit (نحو 2 GB لكل مليار معامل): ما يصل إلى 40 مليار معامل تقريبًا، قبل حساب التنشيطات والذاكرة المؤقتة. هذا حساب على VRAM المسجلة، وليس مقياسًا مرجعيًا.

2. 02بنية Hopper

   البنية

   Hopper

   سنة الإطلاق

   2022

   حالة دورة الحياة

   Previous Generation

   أضافت Hopper محرك Transformer، الذي يمزج بين حسابات FP8 و16-bit لنماذج المحولات، والجيل الرابع من أنوية Tensor. (سياق عام عن البنية، وليس بيانًا عن هذه البطاقة تحديدًا.)

   أُطلق في 2022. تدرجها سجلات Kovara على أنها قطعة من الجيل السابق.

3. 03مصممة للتوسع عبر وحدات GPU

   NVLink

   مدعوم

   MIG

   مدعوم

   عامل الشكل

   SXM

   TDP

   700 W

   NVLink رابط مباشر من GPU إلى GPU. وحيثما يكون مدعومًا، تستطيع وحدات GPU في الخادم نفسه تبادل البيانات أسرع مما عبر PCIe وحده، وهذا مهم عندما تُوزَّع مهمة تدريب واحدة على عدة وحدات GPU.

   تستطيع ميزة GPU متعددة المثيلات (MIG) تقسيم وحدة GPU مادية واحدة إلى شرائح معزولة، لكل منها ذاكرتها وقدرتها الحوسبية، فتتشارك عدة أعباء عمل أصغر بطاقة واحدة.

   تُثبَّت وحدات SXM مباشرة على اللوحة الأساسية للخادم بدلًا من إدخالها كبطاقات، وهو التصميم المستخدم عادةً في الخوادم الكثيفة متعددة وحدات GPU.

   TDP هي القدرة الحرارية التصميمية المقدرة: الرقم المعتمد في التخطيط لإمداد الطاقة والتبريد في الخادم.

4. 04فيمَ تُستخدم

   الاستخدام الرئيسي (المسجل)

   AI Training, AI Inference, HPC

   هذه هي الاستخدامات التي سجلتها Kovara لهذه القطعة. وتشرح الملاحظات عبء العمل بعبارات عامة؛ وليست ادعاءات أداء.

   • AI Trainingتعليم النموذج من البيانات. وعادةً ما تكون المرحلة الأكثر استهلاكًا للحوسبة والذاكرة، وغالبًا ما تُوزَّع على كثير من وحدات GPU.
   • AI Inferenceتشغيل نموذج مدرَّب للرد على الطلبات. وسعة الذاكرة وزمن الاستجابة وتكلفة الطلب هي الاهتمامات المعتادة.
   • HPCالمحاكاة العلمية والهندسية، حيث تهم الدقة العددية وعرض النطاق الترددي للذاكرة.

الأرقام من البيانات المرجعية الرئيسية لدى Kovara، وآخر تحقق منها في 30 أغسطس 2026. تصف الشروحات التقنية بوجه عام؛ وليست مقاييس مرجعية ولا تقول شيئًا عن السعر أو التوفر.