Sözlük
İşlem gücünün dili.
51 terim: GPU’lardan ağ yapısına, veri merkezlerinden satın alma modellerine kadar, jargon kullanmadan açıklandı.
Donanım
A100NVIDIA’nın Ampere nesli veri merkezi GPU’su; H100’ün selefi.B200Blackwell neslinden, Hopper’ın ardılı mimariye sahip bir NVIDIA veri merkezi GPU’su.Bellek bant genişliğiBir GPU’nun her saniye belleğinden ne kadar veri okuyabildiği veya belleğine ne kadar veri yazabildiği; genellikle saniyede terabayt cinsinden ölçülür.FLOPSSaniyedeki kayan nokta işlemi sayısı: ham hesaplama veriminin bir ölçüsü; çoğu zaman teraflops veya petaflops cinsinden belirtilir.GPUGrafik işlem birimi: çok sayıda hesaplamayı paralel yürütmek için tasarlanmış bir çip. GPU’lar, yapay zekâ modellerini eğitmek ve çalıştırmak için kullanılan başlıca donanımdır.H100NVIDIA’nın yapay zekâ eğitimi ve çıkarımı için yaygın olarak kullanılan Hopper nesli veri merkezi GPU’su. SXM ve PCIe dahil çeşitli form faktörlerinde sunulur.H200H100’ün hesaplama mimarisini daha büyük ve daha hızlı bellekle birleştiren, NVIDIA Hopper nesli bir GPU.HBMHigh Bandwidth Memory (yüksek bant genişlikli bellek): verilerin çipe çok hızlı gidip gelebilmesi için GPU çipinin yanına yerleştirilen yığın bellek.HızlandırıcıYapay zekâ gibi belirli iş yüklerini hızlandırmak için tasarlanmış bir çip. GPU’lar en bilinen hızlandırıcılardır; diğerleri arasında TPU’lar ve özel yapay zekâ çipleri bulunur.MI300XAMD’nin yapay zekâ ve yüksek performanslı hesaplama için Instinct MI300X veri merkezi hızlandırıcısı.PCIePCI Express: bir GPU ile sunucunun geri kalanı arasındaki standart bağlantı. PCIe GPU’lar kart olarak takılır.SXMNVIDIA’nın doğrudan sunucu kartına monte edilen, NVLink ve daha yüksek güç için tasarlanmış soketli GPU form faktörü.Tensor CoreNVIDIA GPU’ları içinde, yapay zekânın kalbindeki matris hesaplamalarını genel amaçlı çekirdeklerden çok daha hızlı yapan özel birimler.VRAMBir GPU üzerindeki bellek; gigabayt cinsinden ölçülür. GPU çalışırken model ağırlıklarını, çalışma verilerini ve önbellekleri tutar.
Ağ yapısı
InfiniBandYapay zekâ eğitim kümelerinde sunucuları birbirine bağlamak için yaygın olarak kullanılan, çok düşük gecikmeli, yüksek performanslı bir ağ teknolojisi.NVLinkNVIDIA’nın, bir sunucu içindeki GPU’ları doğrudan birbirine bağlayan, standart PCIe veri yolundan çok daha hızlı yüksek hızlı bağlantısı.NVSwitchNVLink ile bağlı bir sunucudaki her GPU’nun diğer tüm GPU’larla tam hızda iletişim kurmasını sağlayan bir anahtar çipi.RoCERDMA over Converged Ethernet: Ethernet ağları üzerinden InfiniBand tarzı doğrudan bellek aktarımı sağlamanın bir yolu.
Yapay zekâ iş yükleri
ÇıkarımKullanıcılar için yanıt veya tahmin üretmek üzere eğitilmiş bir modeli çalıştırmak.EğitimBüyük miktarda veriyi işleyip parametrelerini ayarlayarak bir modeli eğitmek. Günler veya haftalar boyunca birlikte çalışan çok sayıda GPU gerektirir.Fine-tuningMevcut bir modeli bir göreve uyarlamak için daha küçük, belirli bir veri kümesiyle eğitmeye devam etmek.Hassasiyet (FP8, BF16, FP16)Hesaplamalarda kullanılan sayı biçimi. FP8 gibi daha düşük hassasiyet daha az bellek kullanır ve daha hızlı çalışır; bunun karşılığında sayısal doğruluktan bir miktar ödün verilir.KV önbelleğiBir dil modeli metin üretirken dikkat mekanizmasının ara sonuçlarını saklayan, böylece bunların yeniden hesaplanmasını gereksiz kılan bellek.MIGMulti-Instance GPU: tek bir GPU’yu birbirinden yalıtılmış birkaç küçük GPU’ya bölen bir NVIDIA özelliği.
Veri merkezleri
BölgeBir sağlayıcının kapasite sunduğu şehir, metro alanı veya ülke gibi coğrafi bir bölge.KolokasyonKendi donanımınızı barındırmak için başka birinin veri merkezinde alan, güç ve soğutma kiralamak.Megavat (MW)Bir milyon vata eşit güç birimi. Veri merkezi kapasitesi genellikle kullanılabilir gücün megavatı cinsinden ifade edilir.PUEPower Usage Effectiveness (güç kullanım etkinliği): tesisin toplam enerjisinin BT ekipmanının kullandığı enerjiye bölümü. 1’e daha yakın bir değer, soğutma gibi ek yüklere daha az enerji harcandığı anlamına gelir.Raf yoğunluğuHer sunucu rafının ne kadar güç sağlayıp soğutabildiği; raf başına kilovat cinsinden ölçülür.Sıvı soğutmaIsıyı hava yerine sıvıyla, çip düzeyinde veya raf genelinde uzaklaştırmak. Havaya göre çok daha yüksek güç yoğunluklarını kaldırır.TDPTermal tasarım gücü: bir çipin üretmek üzere tasarlandığı ısı miktarı ve kabaca yük altında çektiği güç; vat cinsinden.Veri yerelliğiVerilerin belirli bir ülkede veya bölgede saklanması ve işlenmesi zorunluluğu.
İşlem gücü satın alma
Bare metalSizinle donanım arasında sanallaştırma katmanı olmadan tüm bir fiziksel sunucuyu kiralamak.DüğümBir kümedeki tek bir sunucu. Bir GPU düğümü genellikle birkaç, çoğunlukla sekiz GPU barındırır.GPU-hourBir saat boyunca kullanılan bir GPU. İşlem gücü fiyatlarını karşılaştırmak için standart birimdir.Hiper ölçekli bulutBüyük genel bulutlar gibi, küresel ölçekte veri merkezleri işleten çok büyük bir bulut sağlayıcısı.KümeTek bir iş üzerinde birlikte çalışabilmeleri için hızlı bir ağla bağlanmış sunucu grubu.NeocloudGenel amaçlı bulut hizmetleri yerine GPU ve yapay zekâ altyapısında uzmanlaşan yeni nesil bir bulut sağlayıcısı.On-demandUzun bir taahhüt olmadan saatlik veya dakikalık işlem gücü kiralamak. Kullanılabilirliğe bağlı olarak istediğiniz zaman başlatıp durdurabilirsiniz.Rezerve kapasiteDaha düşük bir fiyat veya garantili kullanılabilirlik karşılığında, işlem gücünü çoğu zaman aylarca süren sabit bir vade boyunca kullanmayı taahhüt etmek.SLAHizmet düzeyi sözleşmesi: bir sağlayıcının çalışma süresi gibi konularda yazılı taahhüdü ve karşılanmadığında uygulanacak telafiler.Spot (kesintiye uğratılabilir)Sağlayıcının kısa sürede geri alabileceği, indirimli sunulan atıl kapasite.Taahhütlü vadeBir alıcının kapasite için ödeme yapmayı kabul ettiği süre; örneğin bir, üç veya on iki ay.Veri çıkışı (egress)Bir sağlayıcının ağından çıkan veri; bazı sağlayıcılar bunun için gigabayt başına ücret alır.
Kovara
Compute IndexKovara’nın işlem gücü fiyatları ve kullanılabilirliği için, bağımsız sağlayıcı katkılarından yayımlanmış bir metodolojiyle hesaplanan benchmark’ı.Doğrulanmış SağlayıcıKimliği Kovara’dan bir kişi tarafından incelenmiş bir sağlayıcı. Bu statü asla otomatik olarak verilmez.FixingCompute Index’ten, kullanılan metodoloji sürümüyle kaydedilen ve asla sessizce yeniden yazılmayan resmî bir yayımlanmış benchmark değeri.Gösterge fiyatResmî bir fixing olarak yayımlanmamış canlı bir tahmin. Asla fixing ile karıştırılmaması için gösterge niteliğinde olarak etiketlenir.Güven derecesiKovara’nın bir olgunun ne kadar iyi desteklendiğini gösteren A–D derecelendirmesi: A yüksek düzeyde doğrulanmış, B güçlü kanıt, C eksik kanıt, D tahmin veya doğrulanmamış.Kullanılabilirlik durumuBir teklifin Mevcut, Sınırlı veya Mevcut değil olup olmadığı; kaynak belirtmediğinde ise bilinmiyor.Normalleştirilmiş fiyatFarklı tekliflerin karşılaştırılabilmesi için GPU-hour başına ABD doları gibi ortak bir birime dönüştürülmüş fiyat.
Bir terim mi eksik?
Kova’dan çipler, ağ yapısı veya veri merkezleri hakkında herhangi bir şeyi açıklamasını isteyin ya da neyi eklememiz gerektiğini bize söyleyin.