A2 16GB

Tekniset tiedot selitettynä

Käyttökohteet: Edge AI ja inference

1. 0116 GB GDDR6-muistia

   VRAM

   16 GB

   Muistityyppi

   GDDR6

   Muistin kaistanleveys

   0.2 TB/s

   GDDR on grafiikkamuisti, joka on asennettu piirilevylle GPU:n ympärille sen sijaan, että se olisi pinottu samaan pakettiin. Sitä käytetään laajasti grafiikka-, renderöinti- ja kustannustehokkaan inferenssin korteissa.

   VRAM on kortin työtila. Mallin painojen, aktivaatioiden ja datajoukkojen on mahduttava siihen, tai ne on jaettava usealle GPU:lle. Nyrkkisääntö pelkille painoille 16 bitin tarkkuudella (noin 2 GB miljardia parametria kohti): enintään noin 8 miljardia parametria, ennen aktivaatioita ja välimuistia. Tämä on kirjatun VRAM-muistin laskutoimitus, ei vertailuarvo.

2. 02Ampere-arkkitehtuuri

   Arkkitehtuuri

   Ampere

   Julkaisuvuosi

   2021

   Elinkaaren tila

   Previous

   Ampere toi datakeskuskomponentteihinsa kolmannen sukupolven Tensor Core -ytimet, TF32-tarkkuuden ja Multi-Instance GPU -ominaisuuden (MIG). (Yleistä taustaa arkkitehtuurista, ei väite tästä nimenomaisesta kortista.)

   Lanseerattu vuonna 2021. Kovara-alustan tietueissa se on kirjattu edellisen sukupolven komponentiksi.

3. 03Muotokerroin ja sähkönsyöttö

   NVLink

   Ei tuettu

   MIG

   Ei tuettu

   Muotokerroin

   PCIe low-profile single-slot

   TDP

   60 W

   Kovara-alustan tietueet eivät osoita NVLink-tukea, joten tämän komponentin usean GPU:n ajot turvautuvat datan siirrossa PCIe:hen tai palvelinten väliseen verkkoon.

   PCIe-kortit asennetaan palvelinten ja työasemien tavallisiin laajennuspaikkoihin, mikä sopii monenlaisiin järjestelmiin.

   TDP on nimellinen lämpösuunnitteluteho: palvelimen sähkönsyötön ja jäähdytyksen mitoituksessa käytettävä suunnitteluarvo.

4. 04Mihin sitä käytetään

   Pääasiallinen käyttö (kirjattu)

   Edge AI / inference

   Nämä ovat käyttötarkoitukset, jotka Kovara on kirjannut tälle komponentille. Huomautukset selittävät työkuorman yleisellä tasolla; ne eivät ole suorituskykyväitteitä.

   • Edge AIMallien ajaminen lähellä paikkaa, jossa data syntyy, kompakteissa ja tehorajoitetuissa järjestelmissä.
   • inferenceKoulutetun mallin ajaminen pyyntöihin vastaamiseksi. Yleensä keskeisiä seikkoja ovat muistikapasiteetti, viive ja kustannus pyyntöä kohti.

Luvut ovat Kovara-alustan perustietoja, viimeksi varmennettu 03.9.2026. Selitykset kuvaavat teknologiaa yleisesti; ne eivät ole vertailuarvoja eivätkä kerro mitään hinnasta tai saatavuudesta.