Gaudi 2 96GB

Especificações explicadas

Usado para AI training e inference

1. 0196 GB de memória HBM2E

   VRAM

   96 GB

   Tipo de memória

   HBM2E

   Largura de banda de memória

   2.45 TB/s

   A HBM (High Bandwidth Memory) é empilhada em camadas e fica logo ao lado do processador, no mesmo encapsulamento. Esse caminho curto e largo é o que dá aos aceleradores com HBM sua largura de banda de memória, por isso eles costumam ser escolhidos para trabalhos limitados pela velocidade com que os dados chegam aos núcleos, como inferência de modelos grandes e simulação HPC.

   A VRAM é o espaço de trabalho da placa. Os pesos do modelo, as ativações e os conjuntos de dados precisam caber nela ou ser divididos entre várias GPUs. Regra prática apenas para os pesos com precisão de 16 bits (cerca de 2 GB por bilhão de parâmetros): até aproximadamente 48 bilhões de parâmetros, antes de ativações e cache. Isto é aritmética sobre a VRAM registrada, não um benchmark.

2. 02Arquitetura Gaudi2

   Arquitetura

   Gaudi2

   Geração

   Gaudi 2

   Ano de lançamento

   2022

   Status do ciclo de vida

   Previous

   A Gaudi é a linha de aceleradores de IA da Intel, criada para treinamento e inferência de deep learning, com rede integrada ao chip. (Contexto geral sobre a arquitetura, não uma afirmação sobre esta placa específica.)

   Lançamento em 2022. Os registros da Kovara a classificam como uma peça da geração anterior.

3. 03Formato e potência

   Formato

   Mezzanine accelerator

   TDP

   600 W

   Os módulos aceleradores são montados em uma placa-base em vez de encaixados como placas, o layout usado em servidores densos com vários aceleradores.

   O TDP é a potência de projeto térmico nominal: o número de planejamento para o fornecimento de energia e o resfriamento em um servidor.

4. 04Para que é usada

   Uso principal (registrado)

   AI training / inference

   Estes são os usos que a Kovara registrou para esta peça. As notas explicam a carga de trabalho em termos gerais; não são afirmações de desempenho.

   • AI trainingEnsinar um modelo a partir de dados. Normalmente a fase que mais consome capacidade computacional e memória, muitas vezes distribuída entre muitas GPUs.
   • inferenceExecutar um modelo treinado para responder a requisições. Capacidade de memória, latência e custo por requisição são as preocupações habituais.

Os números são dados mestres da Kovara, verificados pela última vez em 25 de set. de 2026. As explicações descrevem a tecnologia em geral; não são benchmarks e não dizem nada sobre preço ou disponibilidade.