Ordliste
Regnekraftens sprog.
51 begreber fra GPU’er og netværk til datacentre og købsmodeller, forklaret uden jargon.
Hardware
A100NVIDIAs datacenter-GPU af Ampere-generationen, forgængeren for H100.AcceleratorEn chip, der er designet til at accelerere bestemte workloads som AI. GPU’er er de mest kendte acceleratorer; andre omfatter TPU’er og specialbyggede AI-chips.B200En NVIDIA-datacenter-GPU fra Blackwell-generationen, efterfølgerarkitekturen til Hopper.FLOPSFlydende kommaoperationer pr. sekund: et mål for rå regnekapacitet, ofte angivet i teraflops eller petaflops.GPUEn grafikprocessor: en chip, der er bygget til at udføre mange beregninger parallelt. GPU’er er den vigtigste hardware til at træne og køre AI-modeller.H100NVIDIAs datacenter-GPU af Hopper-generationen, der er udbredt til AI-træning og -inferens. Den findes i flere formfaktorer, herunder SXM og PCIe.H200En NVIDIA-GPU af Hopper-generationen, der kombinerer H100’s regnekraftdesign med større og hurtigere hukommelse.HBMHigh Bandwidth Memory: stablet hukommelse placeret ved siden af GPU-chippen, så data kan flyttes til og fra den meget hurtigt.HukommelsesbåndbreddeHvor meget data en GPU kan læse fra eller skrive til sin hukommelse pr. sekund, som regel målt i terabyte pr. sekund.MI300XAMDs Instinct MI300X, en datacenteraccelerator til AI og high-performance computing.PCIePCI Express: standardforbindelsen mellem en GPU og resten af en server. PCIe-GPU’er sættes i som kort.SXMNVIDIAs sokkelmonterede GPU-formfaktor, der monteres direkte på et serverkort og er designet til NVLink og højere effekt.Tensor CoreSpecialiserede enheder i NVIDIA-GPU’er, der udfører den matrixmatematik, som er kernen i AI, langt hurtigere end kerner til generelle formål.VRAMHukommelsen på en GPU, målt i gigabyte. Den rummer modelvægte, arbejdsdata og caches, mens GPU’en kører.
Netværk
InfiniBandEn højtydende netværksteknologi med meget lav latenstid, der er udbredt til at forbinde servere i clusters til AI-træning.NVLinkNVIDIAs højhastighedsforbindelse, der forbinder GPU’er direkte med hinanden inde i en server, langt hurtigere end den almindelige PCIe-bus.NVSwitchEn switch-chip, der lader hver GPU i en NVLink-forbundet server kommunikere med alle de andre GPU’er ved fuld hastighed.RoCERDMA over Converged Ethernet: en måde at få direkte hukommelsesoverførsler som i InfiniBand over Ethernet-netværk.
AI-workloads
Fine-tuningVidere træning af en eksisterende model på et mindre, specifikt datasæt for at tilpasse den til en opgave.InferensKørsel af en trænet model for at give svar eller forudsigelser til brugere.KV cacheHukommelse, der gemmer mellemresultater fra attention, mens en sprogmodel genererer tekst, så de ikke skal beregnes igen.MIGMulti-Instance GPU: en NVIDIA-funktion, der opdeler én GPU i flere isolerede, mindre GPU’er.Præcision (FP8, BF16, FP16)Det talformat, der bruges til beregninger. Lavere præcision som FP8 bruger mindre hukommelse og kører hurtigere, på bekostning af en vis numerisk nøjagtighed.TræningAt lære en model op ved at behandle store mængder data og justere dens parametre. Det kræver mange GPU’er, der arbejder sammen i dage eller uger.
Datacentre
ColocationLeje af plads, strøm og køling i en andens datacenter til at huse din egen hardware.DataopbevaringsstedKravet om, at data opbevares og behandles i et bestemt land eller en bestemt region.Megawatt (MW)En effektenhed svarende til en million watt. Et datacenters kapacitet beskrives som regel i megawatt tilgængelig effekt.PUEPower Usage Effectiveness: facilitetens samlede energiforbrug divideret med den energi, IT-udstyret bruger. En værdi tættere på 1 betyder, at mindre energi går til overhead som køling.RacktæthedHvor meget effekt hvert serverrack kan forsyne og køle, målt i kilowatt pr. rack.RegionEt geografisk område, hvor en udbyder tilbyder kapacitet, f.eks. en by, et storbyområde eller et land.TDPThermal design power: den varmemængde, en chip er designet til at udvikle, og omtrent den effekt, den trækker under belastning, i watt.VæskekølingBortledning af varme med væske i stedet for luft, enten ved chippen eller på tværs af racket. Det kan håndtere langt højere effekttætheder end luft.
Køb af regnekraft
Bare metalLeje af en hel fysisk server uden et virtualiseringslag mellem dig og hardwaren.Bunden periodeDen periode, en køber accepterer at betale for kapacitet, f.eks. en, tre eller tolv måneder.ClusterEn gruppe servere, der er forbundet med et hurtigt netværk, så de kan arbejde sammen på ét job.EgressData, der forlader en udbyders netværk, og som nogle udbydere tager betaling for pr. gigabyte.GPU-hourÉn GPU brugt i én time. Det er standardenheden til at sammenligne priser på regnekraft.HyperscalerEn meget stor cloududbyder, f.eks. de store offentlige clouds, der driver datacentre i global skala.NeocloudEn nyere cloududbyder, der er specialiseret i GPU- og AI-infrastruktur frem for generelle cloudtjenester.NodeÉn server i en cluster. En GPU-node rummer typisk flere GPU’er, ofte otte.On-demandLeje af regnekraft pr. time eller minut uden lang binding. Du kan starte og stoppe, når du vil, så længe der er kapacitet.Reserveret kapacitetEn forpligtelse til at bruge regnekraft i en fast periode, ofte måneder, mod en lavere pris eller garanteret tilgængelighed.SLAService level agreement: en udbyders skriftlige forpligtelse om f.eks. oppetid med kompensation, hvis den ikke overholdes.Spot (kan afbrydes)Ledig kapacitet, der tilbydes med rabat, og som udbyderen kan tage tilbage med kort varsel.
Kovara
Compute IndexKovaras benchmark for priser på og tilgængelighed af regnekraft, beregnet ud fra uafhængige udbyderbidrag med en offentliggjort metode.FixingEn officiel, offentliggjort benchmarkværdi fra Compute Index, registreret med den anvendte metodeversion og aldrig omskrevet i stilhed.KonfidensgradKovaras vurdering fra A til D af, hvor godt et faktum er understøttet: A højt verificeret, B stærk evidens, C ufuldstændig evidens, D estimat eller ikke verificeret.Normaliseret prisEn pris, der er omregnet til en fælles enhed, f.eks. amerikanske dollar pr. GPU-hour, så forskellige tilbud kan sammenlignes.TilgængelighedsstatusOm et tilbud er Tilgængelig, Begrænset eller Ikke tilgængelig, eller ukendt, når kilden ikke oplyser det.Vejledende prisEt live estimat, der ikke er offentliggjort som en officiel fixing. Det er mærket som vejledende, så det aldrig forveksles med en.Verified ProviderEn udbyder, hvis identitet en medarbejder hos Kovara har gennemgået. Statussen tildeles aldrig automatisk.
Mangler du et begreb?
Bed Kova om at forklare hvad som helst om chips, netværk eller datacentre, eller fortæl os, hvad vi skal tilføje.