A800 40GB Active

Specyfikacje w objaśnieniu

Zastosowania: AI, data science i HPC workstation

1. 0140 GB pamięci HBM2

   VRAM

   40 GB

   Typ pamięci

   HBM2

   Przepustowość pamięci

   1.555 TB/s

   HBM (High Bandwidth Memory) jest ułożona warstwowo w stosach i umieszczona tuż obok procesora w tej samej obudowie. Ta krótka, szeroka ścieżka zapewnia akceleratorom z HBM ich przepustowość pamięci, dlatego wybiera się je zwykle do prac ograniczonych szybkością docierania danych do rdzeni, takich jak inferencja dużych modeli i symulacje HPC.

   VRAM to przestrzeń robocza karty. Wagi modelu, aktywacje i zbiory danych muszą się w niej zmieścić albo zostać podzielone między kilka GPU. Praktyczna reguła dla samych wag przy precyzji 16-bitowej (około 2 GB na miliard parametrów): maksymalnie około 20 mld parametrów, przed uwzględnieniem aktywacji i bufora. To arytmetyka na podstawie odnotowanej VRAM, a nie benchmark.

2. 02Architektura Ampere

   Architektura

   Ampere

   Rok premiery

   2023

   Status cyklu życia

   Previous

   Ampere wprowadził do układów dla centrów danych rdzenie Tensor Core trzeciej generacji, precyzję TF32 i Multi-Instance GPU (MIG). (Ogólny kontekst dotyczący architektury, a nie stwierdzenie o tej konkretnej karcie.)

   Premiera w 2023. Według rekordów Kovara jest to układ poprzedniej generacji.

3. 03Zaprojektowany do skalowania na wiele GPU

   NVLink

   Obsługiwane

   MIG

   Obsługiwane

   Format

   PCIe dual-slot active

   TDP

   240 W

   NVLink to bezpośrednie połączenie GPU–GPU. Tam, gdzie jest obsługiwane, GPU w tym samym serwerze mogą wymieniać dane szybciej niż przez samo PCIe, co ma znaczenie, gdy jedno zadanie treningowe jest rozłożone na kilka GPU.

   Multi-Instance GPU (MIG) może podzielić jeden fizyczny GPU na odizolowane części, każdą z własną pamięcią i mocą obliczeniową, dzięki czemu kilka mniejszych obciążeń może współdzielić kartę.

   Karty PCIe montuje się w standardowych gniazdach rozszerzeń serwerów i stacji roboczych, co pasuje do szerokiej gamy systemów.

   TDP to znamionowa moc cieplna: wartość planistyczna dla zasilania i chłodzenia w serwerze.

4. 04Do czego służy

   Główne zastosowanie (odnotowane)

   AI / data science / HPC workstation

   To zastosowania, które Kovara odnotowała dla tego układu. Uwagi wyjaśniają obciążenie w ogólnych kategoriach; nie są deklaracjami wydajności.

   • AI
   • data sciencePrzyspieszanie analityki i klasycznego uczenia maszynowego na dużych zbiorach danych.
   • HPC workstationSymulacje naukowe i inżynierskie, w których liczą się precyzja numeryczna i przepustowość pamięci.

Wartości pochodzą z danych podstawowych Kovara, ostatnia weryfikacja 03 wrz 2026. Objaśnienia opisują technologię ogólnie; nie są benchmarkami i nie mówią nic o cenie ani dostępności.