Ordliste
Språket for datakraft.
51 begreper fra GPU-er og nettverk til datasentre og innkjøpsmodeller, forklart uten sjargong.
Maskinvare
A100NVIDIAs datasenter-GPU fra Ampere-generasjonen, forgjengeren til H100.AkseleratorEn brikke utviklet for å gjøre bestemte arbeidslaster raskere, som AI. GPU-er er de mest kjente akseleratorene; andre er blant annet TPU-er og spesialtilpassede AI-brikker.B200En datasenter-GPU fra NVIDIA i Blackwell-generasjonen, etterfølgerarkitekturen til Hopper.FLOPSFlyttallsoperasjoner per sekund: et mål på rå beregningskapasitet, ofte oppgitt i teraflops eller petaflops.GPUEn grafikkprosessor: en brikke bygget for å utføre mange beregninger parallelt. GPU-er er den viktigste maskinvaren for å trene og kjøre AI-modeller.H100NVIDIAs datasenter-GPU fra Hopper-generasjonen, mye brukt til AI-trening og inferens. Den finnes i flere formfaktorer, blant annet SXM og PCIe.H200En GPU fra NVIDIAs Hopper-generasjon som kombinerer beregningsarkitekturen til H100 med større og raskere minne.HBMHigh Bandwidth Memory: stablet minne plassert ved siden av GPU-brikken, slik at data kan flyttes til og fra den svært raskt.MI300XAMDs datasenterakselerator Instinct MI300X for AI og høyytelsesdatabehandling.MinnebåndbreddeHvor mye data en GPU kan lese fra eller skrive til minnet sitt hvert sekund, vanligvis målt i terabyte per sekund.PCIePCI Express: standardtilkoblingen mellom en GPU og resten av en server. PCIe-GPU-er settes inn som kort.SXMNVIDIAs sokkelmonterte GPU-formfaktor, montert direkte på et hovedkort og utviklet for NVLink og høyere effekt.Tensor CoreSpesialiserte enheter i NVIDIA-GPU-er som utfører matriseberegningene i hjertet av AI langt raskere enn kjerner for generell bruk.VRAMMinnet på en GPU, målt i gigabyte. Det inneholder modellvektene, arbeidsdata og cacher mens GPU-en kjører.
Nettverk
InfiniBandEn høyytelses nettverksteknologi med svært lav forsinkelse, mye brukt til å koble sammen servere i klynger for AI-trening.NVLinkNVIDIAs høyhastighetskobling som kobler GPU-er direkte til hverandre inne i en server, langt raskere enn den vanlige PCIe-bussen.NVSwitchEn svitsjbrikke som lar hver GPU i en NVLink-tilkoblet server kommunisere med alle andre GPU-er i full hastighet.RoCERDMA over Converged Ethernet: en måte å få direkte minneoverføringer i InfiniBand-stil over Ethernet-nettverk.
AI-arbeidslaster
FinjusteringVidere trening av en eksisterende modell på et mindre, spesifikt datasett for å tilpasse den til en oppgave.InferensÅ kjøre en trent modell for å produsere svar eller prediksjoner for brukere.KV-cacheMinne som lagrer mellomresultater fra oppmerksomhetsmekanismen mens en språkmodell genererer tekst, slik at de ikke må beregnes på nytt.MIGMulti-Instance GPU: en NVIDIA-funksjon som deler én GPU i flere isolerte, mindre GPU-er.Presisjon (FP8, BF16, FP16)Tallformatet som brukes i beregninger. Lavere presisjon, som FP8, bruker mindre minne og kjører raskere, på bekostning av noe numerisk nøyaktighet.TreningÅ lære opp en modell ved å behandle store mengder data og justere parameterne. Det krever mange GPU-er som jobber sammen i dager eller uker.
Datasentre
DatalagringsstedKravet om at data lagres og behandles i et bestemt land eller en bestemt region.KolokasjonÅ leie plass, strøm og kjøling i andres datasenter for å huse sin egen maskinvare.Megawatt (MW)En effektenhet lik én million watt. Kapasiteten til et datasenter beskrives vanligvis i megawatt tilgjengelig effekt.PUEPower Usage Effectiveness: anleggets totale energiforbruk delt på energien IT-utstyret bruker. En verdi nærmere 1 betyr at mindre energi går til tillegg som kjøling.RacktetthetHvor mye effekt hvert serverrack kan forsyne og kjøle, målt i kilowatt per rack.RegionEt geografisk område der en leverandør tilbyr kapasitet, for eksempel en by, et storbyområde eller et land.TDPTermisk designeffekt: varmemengden en brikke er konstruert for å avgi, og omtrent den effekten den trekker under last, i watt.VæskekjølingFjerning av varme med væske i stedet for luft, enten ved brikken eller over hele racket. Det håndterer langt høyere effekttettheter enn luft.
Kjøp av datakraft
Avtalt bindingstidPerioden en kjøper avtaler å betale for kapasitet, for eksempel én, tre eller tolv måneder.Bare metalÅ leie en hel fysisk server uten noe virtualiseringslag mellom deg og maskinvaren.EgressData som forlater nettverket til en leverandør, noe enkelte leverandører tar betalt for per gigabyte.GPU-hourÉn GPU brukt i én time. Det er standardenheten for å sammenligne priser på datakraft.HyperscalerEn svært stor skyleverandør, som de store offentlige skyene, som drifter datasentre i global skala.KlyngeEn gruppe servere koblet sammen med et raskt nettverk, slik at de kan jobbe sammen på én jobb.NeocloudEn nyere skyleverandør som spesialiserer seg på GPU- og AI-infrastruktur i stedet for skytjenester for generell bruk.NodeÉn server i en klynge. En GPU-node har vanligvis flere GPU-er, ofte åtte.On-demandÅ leie datakraft per time eller minutt uten lang forpliktelse. Du kan starte og stoppe når du vil, avhengig av tilgjengelighet.Reservert kapasitetÅ forplikte seg til å bruke datakraft i en fast periode, ofte måneder, i bytte mot lavere pris eller garantert tilgjengelighet.SLATjenestenivåavtale: en leverandørs skriftlige forpliktelse om for eksempel oppetid, med kompensasjon hvis den ikke oppfylles.Spot (avbrytbar)Ledig kapasitet som tilbys med rabatt, og som leverandøren kan ta tilbake på kort varsel.
Kovara
Compute IndexKovaras benchmark for priser og tilgjengelighet på datakraft, beregnet ut fra uavhengige bidrag fra leverandører med en publisert metodikk.FixingEn offisiell publisert benchmarkverdi fra Compute Index, registrert med metodikkversjonen som ble brukt, og aldri skrevet om i det stille.Indikativ prisEt estimat i sanntid som ikke er publisert som en offisiell fixing. Det er merket som indikativt, slik at det aldri forveksles med en.KonfidensgradKovaras vurdering A–D av hvor godt et faktum er underbygget: A grundig verifisert, B sterkt belegg, C ufullstendig belegg, D estimat eller ikke verifisert.Normalisert prisEn pris omregnet til en felles enhet, for eksempel amerikanske dollar per GPU-hour, slik at ulike tilbud kan sammenlignes.TilgjengelighetsstatusOm et tilbud er Tilgjengelig, Begrenset eller Utilgjengelig, eller ukjent når kilden ikke sier noe.Verified ProviderEn leverandør der en person hos Kovara har gjennomgått identiteten. Statusen gis aldri automatisk.
Mangler det et begrep?
Be Kova forklare hva som helst om brikker, nettverk eller datasentre, eller fortell oss hva vi bør legge til.