L40 48GB

Spécifications expliquées

Utilisé pour AI inference, graphics et virtual workstation

1. 0148 GB de mémoire GDDR6

   VRAM

   48 GB

   Type de mémoire

   GDDR6

   Bande passante mémoire

   0.864 TB/s

   La GDDR est une mémoire graphique montée sur la carte autour du GPU, plutôt qu’empilée sur le package. Elle est très utilisée sur les cartes graphiques, de rendu et d’inférence économiques.

   La VRAM est l’espace de travail de la carte. Les poids du modèle, les activations et les jeux de données doivent y tenir, ou être répartis sur plusieurs GPU. Règle empirique pour les seuls poids en précision 16 bits (environ 2 GB par milliard de paramètres) : jusqu’à environ 24 milliards de paramètres, avant activations et cache. Il s’agit d’un calcul arithmétique sur la VRAM enregistrée, et non d’un benchmark.

2. 02Architecture Ada Lovelace

   Architecture

   Ada Lovelace

   Génération

   Ada Data Center

   Année de lancement

   2022

   Statut du cycle de vie

   Previous

   Ada Lovelace a apporté les Tensor Cores de quatrième génération avec prise en charge du FP8 et les cœurs de ray tracing de troisième génération. (Contexte général sur l’architecture, et non une affirmation sur cette carte en particulier.)

   Lancé en 2022. Les enregistrements de Kovara l’indiquent comme un composant de la génération précédente.

3. 03Facteur de forme et alimentation

   NVLink

   Non pris en charge

   MIG

   Non pris en charge

   Facteur de forme

   PCIe dual-slot FHFL

   TDP

   300 W

   Les enregistrements de Kovara n’indiquent aucune prise en charge de NVLink ; les tâches multi-GPU sur ce composant s’appuient donc sur le PCIe ou sur le réseau entre serveurs pour déplacer les données.

   Les cartes PCIe s’insèrent dans les emplacements d’extension standard des serveurs et des stations de travail, ce qui convient à un large éventail de systèmes.

   Le TDP est la puissance thermique de conception nominale : la valeur de référence pour dimensionner l’alimentation et le refroidissement d’un serveur.

4. 04À quoi il sert

   Usage principal (enregistré)

   AI inference / graphics / virtual workstation

   Voici les usages que Kovara a enregistrés pour ce composant. Les notes expliquent la charge de travail en termes généraux ; elles ne constituent pas des affirmations de performance.

   • AI inferenceL’exécution d’un modèle entraîné pour répondre à des demandes. La capacité mémoire, la latence et le coût par demande sont les préoccupations habituelles.
   • graphicsLe graphisme interactif et les applications professionnelles de conception ou d’ingénierie.
   • virtual workstationLe partage d’un GPU entre des bureaux distants et des postes de travail virtuels.

Les chiffres sont des données de référence de Kovara, dernière vérification : 03 sept. 2026. Les explications décrivent la technologie de manière générale ; elles ne sont pas des benchmarks et ne disent rien du prix ni de la disponibilité.