H100 SXM

사양 해설

용도: AI Training, AI Inference 및 HPC

1. 0180 GB HBM3 메모리

   VRAM

   80 GB

   메모리 유형

   HBM3

   메모리 대역폭

   3.35 TB/s

   HBM(고대역폭 메모리)은 여러 층으로 적층되어 같은 패키지 안에서 프로세서 바로 옆에 위치합니다. 이 짧고 넓은 경로 덕분에 HBM을 탑재한 가속기는 높은 메모리 대역폭을 갖추며, 대형 모델 추론이나 HPC 시뮬레이션처럼 데이터가 코어에 도달하는 속도에 제한되는 작업에 주로 선택됩니다.

   VRAM은 카드의 작업 공간입니다. 모델 가중치, 활성화 값, 데이터 세트가 이 안에 들어가야 하며, 그렇지 않으면 여러 GPU에 나누어야 합니다. 16비트 정밀도에서 가중치만 고려한 경험칙(매개변수 십억 개당 약 2 GB): 활성화 값과 캐시를 제외하면 매개변수 최대 약 40B개까지입니다. 이는 기록된 VRAM을 바탕으로 한 단순 계산이며 벤치마크가 아닙니다.

2. 02Hopper 아키텍처

   아키텍처

   Hopper

   출시 연도

   2022

   수명 주기 상태

   Previous Generation

   Hopper는 트랜스포머 모델을 위해 FP8과 16비트 연산을 혼합하는 트랜스포머 엔진과 네 번째 세대 텐서 코어를 추가했습니다. (아키텍처에 대한 일반적인 맥락이며, 이 특정 카드에 대한 설명이 아닙니다.)

   2022년 출시. Kovara 기록에는 이전 세대 제품으로 등록되어 있습니다.

3. 03여러 GPU로 확장하도록 설계

   NVLink

   지원

   MIG

   지원

   폼 팩터

   SXM

   TDP

   700 W

   NVLink는 GPU-GPU 간 직접 링크입니다. 지원되는 경우 같은 서버의 GPU는 PCIe만 사용할 때보다 더 빠르게 데이터를 주고받을 수 있으며, 이는 하나의 학습 작업을 여러 GPU에 분산할 때 중요합니다.

   멀티 인스턴스 GPU(MIG)는 물리 GPU 하나를 각각 자체 메모리와 컴퓨팅 자원을 갖춘 격리된 슬라이스로 나눌 수 있어, 여러 소규모 워크로드가 카드 하나를 공유할 수 있습니다.

   SXM 모듈은 카드처럼 슬롯에 꽂지 않고 서버 베이스보드에 직접 장착하며, 고밀도 멀티 GPU 서버에 주로 쓰이는 구성입니다.

   TDP는 정격 열 설계 전력으로, 서버의 전력 공급과 냉각을 계획할 때 쓰는 수치입니다.

4. 04용도

   주요 용도(기록됨)

   AI Training, AI Inference, HPC

   Kovara가 이 제품에 대해 기록한 용도입니다. 메모는 워크로드를 일반적인 관점에서 설명하며, 성능에 대한 주장이 아닙니다.

   • AI Training데이터로 모델을 가르치는 과정입니다. 보통 컴퓨팅과 메모리를 가장 많이 요구하는 단계로, 흔히 많은 GPU에 분산됩니다.
   • AI Inference학습된 모델을 실행해 요청에 응답하는 과정입니다. 메모리 용량, 지연 시간, 요청당 비용이 주된 고려 사항입니다.
   • HPC수치 정밀도와 메모리 대역폭이 중요한 과학 및 공학 시뮬레이션.

수치는 2026년 8월 30일에 마지막으로 검증된 Kovara 마스터 데이터입니다. 설명은 기술을 일반적으로 다룬 것으로, 벤치마크가 아니며 가격이나 가용성에 대해서는 아무것도 말하지 않습니다.