용어집
컴퓨팅의 언어.
51 개 용어를 GPU와 네트워킹부터 데이터센터와 구매 모델까지 전문 용어 없이 설명합니다.
하드웨어
가속기AI 같은 특정 워크로드를 가속하도록 설계된 칩입니다. GPU가 가장 잘 알려진 가속기이며, 그 밖에 TPU와 맞춤형 AI 칩이 있습니다.메모리 대역폭GPU가 매초 메모리에서 읽거나 메모리에 쓸 수 있는 데이터의 양으로, 보통 초당 테라바이트 단위로 측정합니다.A100H100의 이전 세대인 NVIDIA의 Ampere 세대 데이터센터 GPU입니다.B200Hopper의 후속 아키텍처인 Blackwell 세대의 NVIDIA 데이터센터 GPU입니다.FLOPS초당 부동소수점 연산 횟수: 순수 연산 처리량의 척도로, 흔히 테라플롭스나 페타플롭스 단위로 표시합니다.GPU그래픽 처리 장치로, 많은 계산을 병렬로 실행하도록 만든 칩입니다. GPU는 AI 모델을 학습하고 실행하는 주요 하드웨어입니다.H100NVIDIA의 Hopper 세대 데이터센터 GPU로, AI 학습과 추론에 널리 사용됩니다. SXM과 PCIe를 포함한 여러 폼 팩터로 제공됩니다.H200H100의 컴퓨팅 설계에 더 크고 빠른 메모리를 결합한 NVIDIA Hopper 세대 GPU입니다.HBM고대역폭 메모리: GPU 칩 바로 옆에 적층해 배치한 메모리로, 데이터를 매우 빠르게 주고받을 수 있습니다.MI300XAI와 고성능 컴퓨팅을 위한 AMD의 Instinct MI300X 데이터센터 가속기입니다.PCIePCI Express: GPU와 서버의 나머지 부분을 잇는 표준 연결 방식입니다. PCIe GPU는 카드 형태로 장착됩니다.SXM서버 보드에 직접 장착하는 NVIDIA의 소켓형 GPU 폼 팩터로, NVLink와 더 높은 전력을 위해 설계되었습니다.Tensor CoreNVIDIA GPU 내부의 특수 유닛으로, AI의 핵심인 행렬 연산을 범용 코어보다 훨씬 빠르게 수행합니다.VRAMGPU에 탑재된 메모리로, 기가바이트 단위로 측정합니다. GPU가 실행되는 동안 모델 가중치, 작업 데이터, 캐시를 담습니다.
네트워킹
AI 워크로드
정밀도(FP8, BF16, FP16)계산에 사용하는 숫자 형식입니다. FP8 같은 낮은 정밀도는 수치 정확도를 일부 희생하는 대신 메모리를 덜 쓰고 더 빠르게 실행됩니다.추론학습된 모델을 실행해 사용자에게 답변이나 예측을 제공하는 것입니다.파인튜닝기존 모델을 더 작고 특정한 데이터 세트로 추가 학습시켜 특정 작업에 맞게 조정하는 것입니다.학습대량의 데이터를 처리하고 매개변수를 조정해 모델을 가르치는 과정입니다. 많은 GPU가 며칠 또는 몇 주 동안 함께 작동해야 합니다.KV cache언어 모델이 텍스트를 생성하는 동안 어텐션의 중간 결과를 저장해 다시 계산할 필요가 없게 하는 메모리입니다.MIG멀티 인스턴스 GPU: GPU 하나를 서로 격리된 여러 개의 작은 GPU로 나누는 NVIDIA 기능입니다.
데이터센터
데이터 레지던시데이터를 특정 국가나 리전에 저장하고 처리해야 한다는 요건입니다.랙 밀도서버 랙 하나에 공급하고 냉각할 수 있는 전력의 양으로, 랙당 킬로와트 단위로 측정합니다.리전제공업체가 용량을 제공하는 지리적 영역으로, 도시, 대도시권, 국가 등이 있습니다.메가와트(MW)백만 와트에 해당하는 전력 단위입니다. 데이터센터 용량은 보통 사용 가능한 전력의 메가와트로 표현합니다.액체 냉각공기 대신 액체로 칩 단위나 랙 전체에서 열을 제거하는 방식입니다. 공랭보다 훨씬 높은 전력 밀도를 감당할 수 있습니다.Colocation자체 하드웨어를 두기 위해 다른 회사의 데이터센터에서 공간, 전력, 냉각을 임대하는 것입니다.PUE전력 사용 효율: 시설 전체 에너지를 IT 장비가 사용한 에너지로 나눈 값입니다. 값이 1에 가까울수록 냉각 같은 부대 설비에 쓰이는 에너지가 적다는 뜻입니다.TDP열 설계 전력: 칩이 발생하도록 설계된 열의 양으로, 부하 시 소비 전력과 대략 같으며 와트 단위로 나타냅니다.
컴퓨팅 구매
노드클러스터를 구성하는 서버 하나입니다. GPU 노드에는 보통 여러 개, 흔히 여덟 개의 GPU가 들어 있습니다.스팟(중단 가능)할인된 가격에 제공되지만 제공업체가 짧은 통보만으로 회수할 수 있는 여유 용량입니다.약정 기간구매자가 용량에 대해 비용을 지불하기로 합의한 기간으로, 한 달, 석 달, 열두 달 등이 있습니다.예약 용량더 낮은 가격이나 보장된 가용성을 대가로 정해진 기간(흔히 몇 개월) 동안 컴퓨팅을 사용하기로 약정하는 방식입니다.Bare metal사용자와 하드웨어 사이에 가상화 계층 없이 물리 서버 전체를 임대하는 방식입니다.Cluster하나의 작업을 함께 처리할 수 있도록 빠른 네트워크로 연결된 서버 그룹입니다.Egress제공업체의 네트워크 밖으로 나가는 데이터로, 일부 제공업체는 기가바이트당 요금을 부과합니다.GPU-hourGPU 하나를 한 시간 동안 사용하는 것입니다. 컴퓨팅 가격을 비교하는 표준 단위입니다.Hyperscaler주요 퍼블릭 클라우드처럼 전 세계적 규모로 데이터센터를 운영하는 초대형 클라우드 제공업체입니다.Neocloud범용 클라우드 서비스보다 GPU 및 AI 인프라에 특화된 신생 클라우드 제공업체입니다.On-demand장기 약정 없이 시간 또는 분 단위로 컴퓨팅을 임대하는 방식입니다. 가용성에 따라 원할 때 시작하고 중지할 수 있습니다.SLA서비스 수준 계약: 가동 시간 같은 항목에 대한 제공업체의 서면 약속으로, 지키지 못하면 보상이 따릅니다.
Kovara
가용성 상태상품이 이용 가능, 제한적, 이용 불가 중 어느 상태인지, 또는 출처에 정보가 없을 때는 알 수 없음으로 표시합니다.신뢰도 등급사실이 얼마나 잘 뒷받침되는지에 대한 Kovara의 A–D 평가입니다: A 철저히 검증됨, B 확실한 근거, C 불완전한 근거, D 추정 또는 미검증.정규화 가격서로 다른 상품을 비교할 수 있도록 GPU-hour당 미국 달러 같은 공통 단위로 환산한 가격입니다.참고 가격공식 픽싱으로 게시되지 않은 실시간 추정치입니다. 픽싱으로 오인되지 않도록 참고값으로 표시됩니다.Compute Index독립적인 제공업체 기여 데이터로 산출하고 방법론을 공개하는, 컴퓨팅 가격과 가용성에 대한 Kovara의 벤치마크입니다.FixingCompute Index의 공식 게시 벤치마크 값으로, 사용된 방법론 버전과 함께 기록되며 조용히 수정되는 일이 없습니다.Verified ProviderKovara 담당자가 신원을 검토한 제공업체입니다. 이 지위는 자동으로 부여되지 않습니다.