H100 NVLink 80GB — Hyperstack flavor

Especificações explicadas

Usado para AI training, inference e HPC

1. 0180 GB de memória

   VRAM

   80 GB

   A VRAM é o espaço de trabalho da placa. Os pesos do modelo, as ativações e os conjuntos de dados precisam caber nela ou ser divididos entre várias GPUs. Regra prática apenas para os pesos com precisão de 16 bits (cerca de 2 GB por bilhão de parâmetros): até aproximadamente 40 bilhões de parâmetros, antes de ativações e cache. Isto é aritmética sobre a VRAM registrada, não um benchmark.

2. 02Arquitetura Hopper

   Arquitetura

   Hopper

   Ano de lançamento

   2022

   Status do ciclo de vida

   Previous

   A Hopper acrescentou o Transformer Engine, que combina matemática FP8 e de 16 bits para modelos transformer, e Tensor Cores de quarta geração. (Contexto geral sobre a arquitetura, não uma afirmação sobre esta placa específica.)

   Lançamento em 2022. Os registros da Kovara a classificam como uma peça da geração anterior.

3. 03Feita para escalar entre GPUs

   NVLink

   Suportado

   MIG

   Suportado

   O NVLink é uma conexão direta de GPU para GPU. Onde é suportado, as GPUs do mesmo servidor podem trocar dados mais rápido do que apenas por PCIe, o que importa quando uma tarefa de treinamento é distribuída entre várias GPUs.

   A Multi-Instance GPU (MIG) pode dividir uma GPU física em fatias isoladas, cada uma com sua própria memória e capacidade computacional, para que várias cargas de trabalho menores compartilhem uma placa.

4. 04Para que é usada

   Uso principal (registrado)

   AI training / inference / HPC

   Estes são os usos que a Kovara registrou para esta peça. As notas explicam a carga de trabalho em termos gerais; não são afirmações de desempenho.

   • AI trainingEnsinar um modelo a partir de dados. Normalmente a fase que mais consome capacidade computacional e memória, muitas vezes distribuída entre muitas GPUs.
   • inferenceExecutar um modelo treinado para responder a requisições. Capacidade de memória, latência e custo por requisição são as preocupações habituais.
   • HPCSimulação científica e de engenharia, em que a precisão numérica e a largura de banda de memória importam.

Os números são dados mestres da Kovara, verificados pela última vez em 25 de set. de 2026. As explicações descrevem a tecnologia em geral; não são benchmarks e não dizem nada sobre preço ou disponibilidade.