Woordenlijst
De taal van rekencapaciteit.
51 termen, van GPU’s en netwerken tot datacenters en inkoopmodellen, uitgelegd zonder jargon.
Hardware
A100De datacenter-GPU van NVIDIA uit de Ampere-generatie, de voorganger van de H100.AcceleratorEen chip die is ontworpen om specifieke workloads zoals AI te versnellen. GPU’s zijn de bekendste accelerators; andere zijn onder meer TPU’s en op maat gemaakte AI-chips.B200Een datacenter-GPU van NVIDIA uit de Blackwell-generatie, de opvolgende architectuur van Hopper.FLOPSFloating-point operations per second: een maat voor ruwe rekendoorvoer, vaak uitgedrukt in teraflops of petaflops.GeheugenbandbreedteHoeveel data een GPU per seconde uit zijn geheugen kan lezen of ernaar kan schrijven, meestal gemeten in terabytes per seconde.GPUEen graphics processing unit: een chip die is gebouwd om veel berekeningen parallel uit te voeren. GPU’s zijn de belangrijkste hardware voor het trainen en draaien van AI-modellen.H100De datacenter-GPU van NVIDIA uit de Hopper-generatie, veel gebruikt voor AI-training en -inferentie. Hij is verkrijgbaar in verschillende vormfactoren, waaronder SXM en PCIe.H200Een NVIDIA-GPU uit de Hopper-generatie die het ontwerp voor rekenkracht van de H100 combineert met groter en sneller geheugen.HBMHigh Bandwidth Memory: gestapeld geheugen dat naast de GPU-chip is geplaatst, zodat data zeer snel van en naar de chip kan stromen.MI300XDe Instinct MI300X van AMD, een datacenter-accelerator voor AI en high-performance computing.PCIePCI Express: de standaardverbinding tussen een GPU en de rest van een server. PCIe-GPU’s worden als kaarten ingestoken.SXMDe gesockelde GPU-vormfactor van NVIDIA, direct op een servermoederbord gemonteerd en ontworpen voor NVLink en hoger vermogen.Tensor CoreGespecialiseerde eenheden in NVIDIA-GPU’s die de matrixberekeningen in het hart van AI veel sneller uitvoeren dan cores voor algemeen gebruik.VRAMHet geheugen op een GPU, gemeten in gigabytes. Het bevat de modelgewichten, werkdata en caches terwijl de GPU draait.
Netwerken
InfiniBandEen krachtige netwerktechnologie met zeer lage latentie, veel gebruikt om servers in AI-trainingsclusters te verbinden.NVLinkDe snelle verbinding van NVIDIA die GPU’s binnen een server rechtstreeks met elkaar verbindt, veel sneller dan de standaard PCIe-bus.NVSwitchEen switchchip waarmee elke GPU in een via NVLink verbonden server op volle snelheid met elke andere GPU kan communiceren.RoCERDMA over Converged Ethernet: een manier om directe geheugenoverdrachten in InfiniBand-stijl via Ethernet-netwerken mogelijk te maken.
AI-workloads
Fine-tuningEen bestaand model verder trainen op een kleinere, specifieke dataset om het aan een taak aan te passen.InferentieEen getraind model draaien om antwoorden of voorspellingen voor gebruikers te produceren.KV cacheGeheugen dat tussenresultaten van attention opslaat terwijl een taalmodel tekst genereert, zodat ze niet opnieuw berekend hoeven te worden.MIGMulti-Instance GPU: een functie van NVIDIA die één GPU opsplitst in meerdere geïsoleerde, kleinere GPU’s.Precisie (FP8, BF16, FP16)Het getalformaat dat voor berekeningen wordt gebruikt. Een lagere precisie zoals FP8 gebruikt minder geheugen en is sneller, ten koste van enige numerieke nauwkeurigheid.TrainingEen model leren door grote hoeveelheden data te verwerken en de parameters bij te stellen. Daarvoor werken veel GPU’s dagen of weken samen.
Datacenters
ColocationRuimte, stroom en koeling huren in het datacenter van een ander om uw eigen hardware te huisvesten.DataresidentieDe eis dat data in een bepaald land of een bepaalde regio wordt opgeslagen en verwerkt.Megawatt (MW)Een eenheid van vermogen gelijk aan een miljoen watt. De capaciteit van een datacenter wordt meestal beschreven in megawatt beschikbaar vermogen.PUEPower Usage Effectiveness: het totale energieverbruik van een faciliteit gedeeld door het energieverbruik van de IT-apparatuur. Een waarde dichter bij 1 betekent dat minder energie opgaat aan overhead zoals koeling.RackdichtheidHoeveel vermogen elk serverrack kan leveren en koelen, gemeten in kilowatt per rack.RegioEen geografisch gebied waar een aanbieder capaciteit aanbiedt, zoals een stad, metroregio of land.TDPThermal design power: de hoeveelheid warmte die een chip volgens ontwerp produceert, en ongeveer het vermogen dat hij onder belasting opneemt, in watt.VloeistofkoelingWarmte afvoeren met vloeistof in plaats van lucht, op de chip of over het hele rack. Dit kan veel hogere vermogensdichtheden aan dan luchtkoeling.
Rekencapaciteit inkopen
Bare metalEen volledige fysieke server huren zonder virtualisatielaag tussen u en de hardware.ClusterEen groep servers die via een snel netwerk verbonden zijn, zodat ze samen aan één taak kunnen werken.EgressData die het netwerk van een aanbieder verlaat, waarvoor sommige aanbieders per gigabyte kosten rekenen.Gereserveerde capaciteitZich verbinden om rekencapaciteit gedurende een vaste termijn te gebruiken, vaak maanden, in ruil voor een lagere prijs of gegarandeerde beschikbaarheid.GPU-hourEén GPU die één uur wordt gebruikt. Het is de standaardeenheid om prijzen van rekencapaciteit te vergelijken.HyperscalerEen zeer grote cloudaanbieder, zoals de grote publieke clouds, die datacenters op wereldwijde schaal exploiteert.NeocloudEen nieuwere cloudaanbieder die zich specialiseert in GPU- en AI-infrastructuur in plaats van algemene clouddiensten.NodeEén server in een cluster. Een GPU-node bevat doorgaans meerdere GPU’s, vaak acht.On-demandRekencapaciteit per uur of minuut huren zonder langdurige verplichting. U kunt starten en stoppen wanneer u wilt, afhankelijk van de beschikbaarheid.SLAService level agreement: een schriftelijke toezegging van een aanbieder over zaken als uptime, met compensatie als die niet wordt nagekomen.Spot (onderbreekbaar)Reservecapaciteit die met korting wordt aangeboden en die de aanbieder op korte termijn kan terugnemen.Vastgelegde termijnDe periode waarvoor een koper toezegt voor capaciteit te betalen, zoals een, drie of twaalf maanden.
Kovara
BeschikbaarheidsstatusOf een aanbieding Beschikbaar, Beperkt of Niet beschikbaar is, of onbekend als de bron het niet vermeldt.Compute IndexDe benchmark van Kovara voor prijzen en beschikbaarheid van rekencapaciteit, berekend uit onafhankelijke bijdragen van aanbieders volgens een gepubliceerde methodologie.FixingEen officiële gepubliceerde benchmarkwaarde uit de Compute Index, vastgelegd met de gebruikte methodologieversie en nooit stilzwijgend herschreven.Genormaliseerde prijsEen prijs die is omgerekend naar een gemeenschappelijke eenheid, zoals Amerikaanse dollars per GPU-hour, zodat verschillende aanbiedingen kunnen worden vergeleken.Indicatieve prijsEen live schatting die niet als officiële fixing is gepubliceerd. Ze wordt als indicatief gelabeld, zodat ze nooit voor een fixing wordt aangezien.Verified ProviderEen aanbieder waarvan een medewerker van Kovara de identiteit heeft beoordeeld. De status wordt nooit automatisch toegekend.VertrouwensniveauDe A–D-beoordeling van Kovara voor hoe goed een feit onderbouwd is: A grondig geverifieerd, B sterk bewijs, C onvolledig bewijs, D schatting of niet geverifieerd.
Mist u een term?
Vraag Kova om alles uit te leggen over chips, netwerken of datacenters, of laat ons weten wat we moeten toevoegen.