GH200 96GB HBM3

المواصفات مشروحة

يُستخدم في AI training, inference وHPC

1. 0196 GB من ذاكرة HBM3

   VRAM

   96 GB

   نوع الذاكرة

   HBM3

   عرض النطاق الترددي للذاكرة

   4 TB/s

   تُكدَّس ذاكرة HBM (الذاكرة عالية النطاق الترددي) في طبقات وتقع بجوار المعالج مباشرة على الحزمة نفسها. وهذا المسار القصير والعريض هو ما يمنح المسرعات المزودة بـ HBM عرض النطاق الترددي لذاكرتها، لذا تُختار عادةً للأعمال المحدودة بسرعة وصول البيانات إلى الأنوية، مثل الاستدلال على النماذج الكبيرة ومحاكاة HPC.

   VRAM هي مساحة العمل على البطاقة. ويجب أن تتسع لها أوزان النموذج والتنشيطات ومجموعات البيانات، أو أن تُقسَّم على عدة وحدات GPU. قاعدة تقريبية للأوزان وحدها بدقة 16-bit (نحو 2 GB لكل مليار معامل): ما يصل إلى 48 مليار معامل تقريبًا، قبل حساب التنشيطات والذاكرة المؤقتة. هذا حساب على VRAM المسجلة، وليس مقياسًا مرجعيًا.

2. 02بنية Hopper + Grace

   البنية

   Hopper + Grace

   الجيل

   Grace Hopper

   سنة الإطلاق

   2023

   حالة دورة الحياة

   Previous

   تجمع Grace Hopper بين وحدة GPU من Hopper ووحدة CPU من Grace قائمة على Arm في شريحة فائقة واحدة. (سياق عام عن البنية، وليس بيانًا عن هذه البطاقة تحديدًا.)

   أُطلق في 2023. تدرجها سجلات Kovara على أنها قطعة من الجيل السابق.

3. 03مصممة للتوسع عبر وحدات GPU

   NVLink

   مدعوم

   MIG

   مدعوم

   عامل الشكل

   Grace Hopper Superchip

   TDP

   900 W

   NVLink رابط مباشر من GPU إلى GPU. وحيثما يكون مدعومًا، تستطيع وحدات GPU في الخادم نفسه تبادل البيانات أسرع مما عبر PCIe وحده، وهذا مهم عندما تُوزَّع مهمة تدريب واحدة على عدة وحدات GPU.

   تستطيع ميزة GPU متعددة المثيلات (MIG) تقسيم وحدة GPU مادية واحدة إلى شرائح معزولة، لكل منها ذاكرتها وقدرتها الحوسبية، فتتشارك عدة أعباء عمل أصغر بطاقة واحدة.

   TDP هي القدرة الحرارية التصميمية المقدرة: الرقم المعتمد في التخطيط لإمداد الطاقة والتبريد في الخادم.

4. 04فيمَ تُستخدم

   الاستخدام الرئيسي (المسجل)

   AI training / inference / HPC

   هذه هي الاستخدامات التي سجلتها Kovara لهذه القطعة. وتشرح الملاحظات عبء العمل بعبارات عامة؛ وليست ادعاءات أداء.

   • AI trainingتعليم النموذج من البيانات. وعادةً ما تكون المرحلة الأكثر استهلاكًا للحوسبة والذاكرة، وغالبًا ما تُوزَّع على كثير من وحدات GPU.
   • inferenceتشغيل نموذج مدرَّب للرد على الطلبات. وسعة الذاكرة وزمن الاستجابة وتكلفة الطلب هي الاهتمامات المعتادة.
   • HPCالمحاكاة العلمية والهندسية، حيث تهم الدقة العددية وعرض النطاق الترددي للذاكرة.

الأرقام من البيانات المرجعية الرئيسية لدى Kovara، وآخر تحقق منها في 03 سبتمبر 2026. تصف الشروحات التقنية بوجه عام؛ وليست مقاييس مرجعية ولا تقول شيئًا عن السعر أو التوفر.