Fine-tuning
Finjustering tager udgangspunkt i en trænet model og tilpasser den til dine data. Den kræver langt mindre regnekraft end træning fra bunden, hvilket gør korte, fleksible lejeaftaler attraktive.
Det vigtigste
Kan være i hukommelsen
Vælg GPU’er med nok VRAM til modellen og optimizer-tilstanden, eller brug hukommelsesbesparende metoder, der bytter lidt hastighed for plads.
Korte, stødvise job
Kørsler varer ofte timer til dage, så timepriser og hurtig opstart betyder mere end lange kontrakter.
Enkelt netværk
Én node er ofte nok, så den ekstra omkostning ved et avanceret cluster-fabric er som regel unødvendig.
Gentagelighed
Du kommer til at køre eksperimenter igen, så forudsigelige priser og nem adgang er værdifulde.
En typisk opsætning
Én node med flere GPU’er eller endda en enkelt GPU med stor hukommelse, afhængigt af modelstørrelse og metode.
Sådan købes det typisk
On-demand eller kortsigtet kapacitet er det almindelige valg. Spot kan fungere, hvis dit job gemmer checkpoints og kan genoptages.
Almindelige fejl
- At betale for cluster-netværk, som et job på én node ikke bruger.
- At springe checkpoints over på kapacitet, der kan afbrydes.
- At undervurdere omkostningerne til overførsel og lagring af datasæt.
Begreber, du bør kende
Dette er generel vejledning, ikke en anbefaling af en bestemt udbyder eller pris. Se de aktuelle tilbud, og bekræft tilgængelighed og vilkår med udbyderen.
Klar til at se på reelle muligheder?
Se fulgte tilbud med deres kilder og datoer, eller bed Kova om at dimensionere det for dig.