Gaudi 2 96GB

Özelliklerin açıklaması

Kullanım alanları: AI training ve inference

1. 0196 GB HBM2E bellek

   VRAM

   96 GB

   Bellek türü

   HBM2E

   Bellek bant genişliği

   2.45 TB/s

   HBM (High Bandwidth Memory) katmanlar hâlinde yığılır ve aynı paket üzerinde işlemcinin hemen yanında yer alır. Bu kısa ve geniş yol, HBM’li hızlandırıcılara bellek bant genişliklerini kazandıran şeydir; bu nedenle genellikle büyük model çıkarımı ve HPC simülasyonu gibi, verinin çekirdeklere ne kadar hızlı ulaştığıyla sınırlı işler için tercih edilirler.

   VRAM, kart üzerindeki çalışma alanıdır. Model ağırlıkları, aktivasyonlar ve veri kümeleri buna sığmalı ya da birkaç GPU’ya bölünmelidir. 16-bit hassasiyette yalnızca ağırlıklar için pratik kural (milyar parametre başına yaklaşık 2 GB): aktivasyonlar ve önbellek hariç, kabaca 48 milyar parametreye kadar. Bu, kaydedilen VRAM üzerinden yapılan bir hesaptır, benchmark değildir.

2. 02Gaudi2 mimarisi

   Mimari

   Gaudi2

   Nesil

   Gaudi 2

   Piyasaya çıkış yılı

   2022

   Yaşam döngüsü durumu

   Previous

   Gaudi, Intel’in derin öğrenme eğitimi ve çıkarımı için tasarlanmış, ağ işlevleri çipe entegre yapay zekâ hızlandırıcı serisidir. (Mimari hakkında genel bağlam; bu kartla ilgili özel bir ifade değildir.)

   2022 yılında piyasaya çıktı. Kovara kayıtları bunu önceki nesil bir parça olarak listeliyor.

3. 03Form faktörü ve güç

   Form faktörü

   Mezzanine accelerator

   TDP

   600 W

   Hızlandırıcı modülleri kart olarak takılmak yerine bir ana karta monte edilir; bu, yoğun çoklu hızlandırıcı sunucularında kullanılan düzendir.

   TDP, nominal termal tasarım gücüdür: bir sunucuda güç dağıtımı ve soğutma için planlama rakamı.

4. 04Ne için kullanılır

   Birincil kullanım (kayıtlı)

   AI training / inference

   Bunlar Kovara’nın bu parça için kaydettiği kullanım alanlarıdır. Notlar iş yükünü genel olarak açıklar; performans iddiası değildir.

   • AI trainingBir modeli verilerden öğretmek. Genellikle işlem gücü ve bellek açısından en talepkâr aşamadır ve çoğu zaman çok sayıda GPU’ya yayılır.
   • inferenceİstekleri yanıtlamak için eğitilmiş bir modeli çalıştırmak. Bellek kapasitesi, gecikme ve istek başına maliyet olağan önceliklerdir.

Rakamlar Kovara ana verileridir, en son 25 Eyl 2026 tarihinde doğrulanmıştır. Açıklamalar teknolojiyi genel olarak anlatır; benchmark değildir ve fiyat ya da kullanılabilirlik hakkında hiçbir şey söylemez.