Sanasto
Laskentakapasiteetin kieli.
51 termiä GPU:ista ja verkoista datakeskuksiin ja hankintamalleihin, selitettynä ilman ammattislangia.
Laitteisto
A100NVIDIAn Ampere-sukupolven datakeskus-GPU, H100:n edeltäjä.B200NVIDIAn Blackwell-sukupolven datakeskus-GPU, Hopper-arkkitehtuurin seuraaja.FLOPSLiukulukuoperaatioita sekunnissa: raa’an laskentatehon mittari, joka ilmoitetaan usein teraflopseina tai petaflopseina.GPUGrafiikkaprosessori: siru, joka on rakennettu suorittamaan monia laskutoimituksia rinnakkain. GPU:t ovat tekoälymallien koulutuksen ja ajamisen pääasiallinen laitteisto.H100NVIDIAn Hopper-sukupolven datakeskus-GPU, jota käytetään laajasti tekoälyn koulutuksessa ja inferenssissä. Sitä on saatavilla useina muotokertoimina, esimerkiksi SXM ja PCIe.H200NVIDIAn Hopper-sukupolven GPU, joka yhdistää H100:n laskentarakenteen suurempaan ja nopeampaan muistiin.HBMHigh Bandwidth Memory: päällekkäin pinottu muisti, joka sijoitetaan GPU-sirun viereen, jotta data voi siirtyä sirulle ja sirulta erittäin nopeasti.KiihdytinSiru, joka on suunniteltu nopeuttamaan tiettyjä työkuormia, kuten tekoälyä. GPU:t ovat tunnetuimpia kiihdyttimiä; muita ovat esimerkiksi TPU:t ja räätälöidyt tekoälysirut.MI300XAMD:n Instinct MI300X -kiihdytin datakeskuskäyttöön tekoälyä ja suurteholaskentaa varten.Muistin kaistanleveysKuinka paljon dataa GPU voi lukea muististaan tai kirjoittaa sen muistiin joka sekunti, yleensä teratavuina sekunnissa.PCIePCI Express: GPU:n ja muun palvelimen välinen vakioyhteys. PCIe-GPU:t liitetään palvelimeen korttina.SXMNVIDIAn kantaan asennettava GPU-muotokerroin, joka kiinnitetään suoraan palvelimen emolevyyn ja on suunniteltu NVLink-yhteyttä ja suurempaa tehoa varten.Tensor CoreNVIDIAn GPU:iden sisällä olevat erikoistuneet yksiköt, jotka suorittavat tekoälyn ytimessä olevan matriisilaskennan paljon yleiskäyttöisiä ytimiä nopeammin.VRAMGPU:n muisti, joka mitataan gigatavuina. Se sisältää mallin painot, työdatan ja välimuistit GPU:n ollessa käynnissä.
Verkkotekniikka
InfiniBandSuorituskykyinen verkkotekniikka, jonka viive on erittäin pieni ja jota käytetään laajasti palvelinten yhdistämiseen tekoälyn koulutusklustereissa.NVLinkNVIDIAn nopea yhteys, joka yhdistää GPU:t suoraan toisiinsa palvelimen sisällä ja on paljon nopeampi kuin tavallinen PCIe-väylä.NVSwitchKytkinsiru, jonka ansiosta jokainen NVLink-yhteydellä yhdistetyn palvelimen GPU voi kommunikoida jokaisen muun GPU:n kanssa täydellä nopeudella.RoCERDMA over Converged Ethernet: tapa toteuttaa InfiniBand-tyyliset suorat muistisiirrot Ethernet-verkoissa.
Tekoälyn työkuormat
Fine-tuningOlemassa olevan mallin jatkokoulutus pienemmällä, erityisellä datajoukolla sen mukauttamiseksi tehtävään.InferenssiKoulutetun mallin ajaminen vastausten tai ennusteiden tuottamiseksi käyttäjille.KoulutusMallin opettaminen käsittelemällä suuria datamääriä ja säätämällä sen parametreja. Se vaatii monta yhdessä työskentelevää GPU:ta päiviä tai viikkoja.KV cacheMuisti, joka tallentaa attention-laskennan välitulokset kielimallin tuottaessa tekstiä, jotta niitä ei tarvitse laskea uudelleen.MIGMulti-Instance GPU: NVIDIAn ominaisuus, joka jakaa yhden GPU:n useaksi eristetyksi pienemmäksi GPU:ksi.Tarkkuus (FP8, BF16, FP16)Laskennassa käytettävä lukumuoto. Matalampi tarkkuus, kuten FP8, käyttää vähemmän muistia ja toimii nopeammin, mutta numeerinen tarkkuus heikkenee jonkin verran.
Datakeskukset
AlueMaantieteellinen alue, jolla toimittaja tarjoaa kapasiteettia, esimerkiksi kaupunki, metropolialue tai maa.ColocationTilan, sähkönsyötön ja jäähdytyksen vuokraaminen toisen osapuolen datakeskuksesta oman laitteistosi sijoittamiseksi.Megawatti (MW)Tehon yksikkö, joka vastaa miljoonaa wattia. Datakeskuksen kapasiteetti ilmoitetaan yleensä käytettävissä olevana tehona megawatteina.NestejäähdytysLämmön poistaminen nesteellä ilman sijaan joko sirutasolla tai koko räkissä. Se kestää paljon suurempia tehotiheyksiä kuin ilmajäähdytys.PUEPower Usage Effectiveness: laitoksen kokonaisenergia jaettuna IT-laitteiden käyttämällä energialla. Arvo, joka on lähempänä lukua 1, tarkoittaa, että oheistoimintoihin, kuten jäähdytykseen, kuluu vähemmän energiaa.RäkkitiheysKuinka paljon tehoa kukin palvelinräkki pystyy syöttämään ja jäähdyttämään, mitattuna kilowatteina räkkiä kohti.TDPThermal design power: lämmön määrä, jonka tuottamiseen siru on suunniteltu, ja suunnilleen sen kuormitettuna ottama teho watteina.Tietojen sijaintiVaatimus, että data tallennetaan ja käsitellään tietyssä maassa tai alueella.
Laskentakapasiteetin ostaminen
Bare metalKokonaisen fyysisen palvelimen vuokraaminen ilman virtualisointikerrosta sinun ja laitteiston välillä.EgressToimittajan verkosta poistuva data, josta jotkin toimittajat veloittavat gigatavua kohti.GPU-hourYksi tunnin ajan käytetty GPU. Se on vakioyksikkö laskentakapasiteetin hintojen vertailuun.HyperscalerErittäin suuri pilvipalvelutoimittaja, kuten suuret julkiset pilvipalvelut, joka ylläpitää datakeskuksia maailmanlaajuisessa mittakaavassa.KlusteriNopealla verkolla yhdistettyjen palvelinten ryhmä, jotka voivat työskennellä yhdessä yhden tehtävän parissa.NeocloudUudempi pilvipalvelutoimittaja, joka on erikoistunut GPU- ja tekoälyinfrastruktuuriin yleiskäyttöisten pilvipalvelujen sijaan.On-demandLaskentakapasiteetin vuokraaminen tunneittain tai minuuteittain ilman pitkää sitoumusta. Voit aloittaa ja lopettaa milloin haluat saatavuuden rajoissa.SitoumuskausiAjanjakso, jolta ostaja sitoutuu maksamaan kapasiteetista, esimerkiksi yksi, kolme tai kaksitoista kuukautta.SLAService level agreement: toimittajan kirjallinen sitoumus esimerkiksi käytettävyydestä, ja korvauskeinot siltä varalta, ettei sitä saavuteta.SolmuYksi klusterin palvelin. GPU-solmu sisältää tyypillisesti useita GPU:ita, yleensä kahdeksan.Spot (keskeytettävä)Ylimääräinen kapasiteetti, jota tarjotaan alennettuun hintaan ja jonka toimittaja voi ottaa takaisin lyhyellä varoitusajalla.Varattu kapasiteetti (reserved)Sitoutuminen käyttämään laskentakapasiteettia kiinteän sopimuskauden ajan, usein kuukausia, vastineeksi alhaisemmasta hinnasta tai taatusta saatavuudesta.
Kovara
Compute IndexKovara-alustan vertailuarvo laskentakapasiteetin hinnoille ja saatavuudelle, joka lasketaan toimittajien riippumattomista osuuksista julkaistun menetelmän mukaisesti.FixingVirallinen julkaistu Compute Index -vertailuarvo, joka kirjataan käytetyn menetelmäversion kanssa ja jota ei koskaan kirjoiteta uudelleen ilman ilmoitusta.LuottamusluokkaKovara-alustan luokitus A–D siitä, kuinka hyvin tieto on tuettu: A vahvasti varmennettu, B vahvat todisteet, C puutteelliset todisteet, D arvio tai varmentamaton.Normalisoitu hintaYhteiseen yksikköön muunnettu hinta, esimerkiksi Yhdysvaltain dollaria per GPU-hour, jotta eri tarjoomia voidaan vertailla.SaatavuustilaOnko tarjooma saatavilla, rajoitettu vai ei saatavilla, tai tuntematon, kun lähde ei kerro.Suuntaa-antava hintaReaaliaikainen arvio, jota ei ole julkaistu virallisena fixingina. Se merkitään suuntaa-antavaksi, jotta sitä ei koskaan sekoiteta fixingiin.Verified ProviderToimittaja, jonka identiteetin on tarkistanut Kovara-tiimin jäsen. Asemaa ei myönnetä koskaan automaattisesti.
Puuttuuko termi?
Pyydä Kova-agenttia selittämään mitä tahansa siruista, verkoista tai datakeskuksista, tai kerro meille, mitä lisätä.