GB300 NVL72 / 288GB per GPU

Especificações explicadas

Usado para Frontier AI training, reasoning inference e HPC

1. 01288 GB de memória HBM3E

   VRAM

   288 GB

   Tipo de memória

   HBM3E

   Largura de banda de memória

   8 TB/s

   A HBM (High Bandwidth Memory) é empilhada em camadas e fica logo ao lado do processador, no mesmo encapsulamento. Esse caminho curto e largo é o que dá aos aceleradores com HBM sua largura de banda de memória, por isso eles costumam ser escolhidos para trabalhos limitados pela velocidade com que os dados chegam aos núcleos, como inferência de modelos grandes e simulação HPC.

   A VRAM é o espaço de trabalho da placa. Os pesos do modelo, as ativações e os conjuntos de dados precisam caber nela ou ser divididos entre várias GPUs. Regra prática apenas para os pesos com precisão de 16 bits (cerca de 2 GB por bilhão de parâmetros): até aproximadamente 144 bilhões de parâmetros, antes de ativações e cache. Isto é aritmética sobre a VRAM registrada, não um benchmark.

2. 02Arquitetura Blackwell Ultra + Grace

   Arquitetura

   Blackwell Ultra + Grace

   Geração

   Grace Blackwell Ultra

   Ano de lançamento

   2025

   Status do ciclo de vida

   Current

   Lançamento em 2025. Os registros da Kovara a classificam como uma peça da geração atual.

3. 03Feita para escalar entre GPUs

   NVLink

   Suportado

   MIG

   Suportado

   Formato

   Rack-scale NVL module

   TDP

   1400 W

   O NVLink é uma conexão direta de GPU para GPU. Onde é suportado, as GPUs do mesmo servidor podem trocar dados mais rápido do que apenas por PCIe, o que importa quando uma tarefa de treinamento é distribuída entre várias GPUs.

   A Multi-Instance GPU (MIG) pode dividir uma GPU física em fatias isoladas, cada uma com sua própria memória e capacidade computacional, para que várias cargas de trabalho menores compartilhem uma placa.

   O TDP é a potência de projeto térmico nominal: o número de planejamento para o fornecimento de energia e o resfriamento em um servidor.

4. 04Para que é usada

   Uso principal (registrado)

   Frontier AI training / reasoning inference / HPC

   Estes são os usos que a Kovara registrou para esta peça. As notas explicam a carga de trabalho em termos gerais; não são afirmações de desempenho.

   • Frontier AI trainingEnsinar um modelo a partir de dados. Normalmente a fase que mais consome capacidade computacional e memória, muitas vezes distribuída entre muitas GPUs.
   • reasoning inferenceExecutar um modelo treinado para responder a requisições. Capacidade de memória, latência e custo por requisição são as preocupações habituais.
   • HPCSimulação científica e de engenharia, em que a precisão numérica e a largura de banda de memória importam.

Os números são dados mestres da Kovara, verificados pela última vez em 03 de set. de 2026. As explicações descrevem a tecnologia em geral; não são benchmarks e não dizem nada sobre preço ou disponibilidade.