L40 48GB

Specifikationerne forklaret

Bruges til AI inference, graphics og virtual workstation

1. 0148 GB GDDR6-hukommelse

   VRAM

   48 GB

   Hukommelsestype

   GDDR6

   Hukommelsesbåndbredde

   0.864 TB/s

   GDDR er grafikhukommelse, der er monteret på kortet omkring GPU’en i stedet for at være stablet i pakken. Den er udbredt på kort til grafik, rendering og omkostningseffektiv inferens.

   VRAM er arbejdsområdet på kortet. Modelvægte, aktiveringer og datasæt skal kunne være der eller fordeles på flere GPU’er. Tommelfingerregel for vægtene alene ved 16-bit præcision (ca. 2 GB pr. milliard parametre): op til omkring 24 milliarder parametre, før aktiveringer og cache. Det er en beregning på den registrerede VRAM, ikke en benchmark.

2. 02Ada Lovelace-arkitektur

   Arkitektur

   Ada Lovelace

   Generation

   Ada Data Center

   Lanceringsår

   2022

   Livscyklusstatus

   Previous

   Ada Lovelace bragte fjerde generation af Tensor Cores med understøttelse af FP8 og tredje generation af ray tracing-kerner. (Generel kontekst om arkitekturen, ikke et udsagn om dette specifikke kort.)

   Lanceret i 2022. Kovaras poster angiver den som en del af den forrige generation.

3. 03Formfaktor og effekt

   NVLink

   Ikke understøttet

   MIG

   Ikke understøttet

   Formfaktor

   PCIe dual-slot FHFL

   TDP

   300 W

   Kovaras poster viser ingen understøttelse af NVLink, så job med flere GPU’er på denne komponent er afhængige af PCIe eller netværket mellem servere for at flytte data.

   PCIe-kort sættes i almindelige udvidelsesstik i servere og workstations, hvilket passer til en bred vifte af systemer.

   TDP er den nominelle thermal design power: planlægningstallet for strømforsyning og køling i en server.

4. 04Hvad den bruges til

   Primær anvendelse (registreret)

   AI inference / graphics / virtual workstation

   Det er de anvendelser, Kovara har registreret for denne komponent. Noterne forklarer workloaden i generelle vendinger; de er ikke påstande om ydeevne.

   • AI inferenceKørsel af en trænet model for at besvare forespørgsler. Hukommelseskapacitet, latenstid og omkostning pr. forespørgsel er de typiske hensyn.
   • graphicsInteraktiv grafik og professionelle design- eller ingeniørapplikationer.
   • virtual workstationDeling af en GPU mellem fjernskriveborde og virtuelle workstations.

Tallene er Kovaras stamdata, senest verificeret 03. sep. 2026. Forklaringerne beskriver teknologien generelt; de er ikke benchmarks og siger intet om pris eller tilgængelighed.