H200 NVL

Özelliklerin açıklaması

Kullanım alanları: AI inference, HPC ve enterprise

1. 01141 GB HBM3E bellek

   VRAM

   141 GB

   Bellek türü

   HBM3E

   Bellek bant genişliği

   4.8 TB/s

   HBM (High Bandwidth Memory) katmanlar hâlinde yığılır ve aynı paket üzerinde işlemcinin hemen yanında yer alır. Bu kısa ve geniş yol, HBM’li hızlandırıcılara bellek bant genişliklerini kazandıran şeydir; bu nedenle genellikle büyük model çıkarımı ve HPC simülasyonu gibi, verinin çekirdeklere ne kadar hızlı ulaştığıyla sınırlı işler için tercih edilirler.

   VRAM, kart üzerindeki çalışma alanıdır. Model ağırlıkları, aktivasyonlar ve veri kümeleri buna sığmalı ya da birkaç GPU’ya bölünmelidir. 16-bit hassasiyette yalnızca ağırlıklar için pratik kural (milyar parametre başına yaklaşık 2 GB): aktivasyonlar ve önbellek hariç, kabaca 70 milyar parametreye kadar. Bu, kaydedilen VRAM üzerinden yapılan bir hesaptır, benchmark değildir.

2. 02Hopper mimarisi

   Mimari

   Hopper

   Piyasaya çıkış yılı

   2023

   Yaşam döngüsü durumu

   Previous

   Hopper, transformer modelleri için FP8 ve 16-bit hesaplamayı birleştiren Transformer Engine’i ve dördüncü nesil Tensor Core’ları ekledi. (Mimari hakkında genel bağlam; bu kartla ilgili özel bir ifade değildir.)

   2023 yılında piyasaya çıktı. Kovara kayıtları bunu önceki nesil bir parça olarak listeliyor.

3. 03GPU’lar arasında ölçeklenmek için tasarlandı

   NVLink

   Destekleniyor

   MIG

   Destekleniyor

   Form faktörü

   PCIe dual-slot

   TDP

   600 W

   NVLink, GPU’dan GPU’ya doğrudan bir bağlantıdır. Desteklendiği durumlarda aynı sunucudaki GPU’lar yalnızca PCIe üzerinden olduğundan daha hızlı veri alışverişi yapabilir; bu, tek bir eğitim işi birkaç GPU’ya yayıldığında önemlidir.

   Multi-Instance GPU (MIG), tek bir fiziksel GPU’yu her biri kendi belleği ve işlem gücüne sahip yalıtılmış dilimlere bölebilir; böylece birkaç küçük iş yükü bir kartı paylaşabilir.

   PCIe kartlar standart sunucu ve iş istasyonu genişleme yuvalarına takılır; bu da geniş bir sistem yelpazesine uygundur.

   TDP, nominal termal tasarım gücüdür: bir sunucuda güç dağıtımı ve soğutma için planlama rakamı.

4. 04Ne için kullanılır

   Birincil kullanım (kayıtlı)

   AI inference / HPC / enterprise

   Bunlar Kovara’nın bu parça için kaydettiği kullanım alanlarıdır. Notlar iş yükünü genel olarak açıklar; performans iddiası değildir.

   • AI inferenceİstekleri yanıtlamak için eğitilmiş bir modeli çalıştırmak. Bellek kapasitesi, gecikme ve istek başına maliyet olağan önceliklerdir.
   • HPCSayısal hassasiyetin ve bellek bant genişliğinin önemli olduğu bilimsel ve mühendislik simülasyonları.
   • enterprise

Rakamlar Kovara ana verileridir, en son 03 Eyl 2026 tarihinde doğrulanmıştır. Açıklamalar teknolojiyi genel olarak anlatır; benchmark değildir ve fiyat ya da kullanılabilirlik hakkında hiçbir şey söylemez.