L4 24GB

사양 해설

용도: AI inference, video 및 graphics

1. 0124 GB GDDR6 메모리

   VRAM

   24 GB

   메모리 유형

   GDDR6

   메모리 대역폭

   0.3 TB/s

   GDDR은 패키지에 적층하지 않고 GPU 주변 보드에 장착하는 그래픽 메모리입니다. 그래픽, 렌더링, 비용 효율적인 추론용 카드에 널리 사용됩니다.

   VRAM은 카드의 작업 공간입니다. 모델 가중치, 활성화 값, 데이터 세트가 이 안에 들어가야 하며, 그렇지 않으면 여러 GPU에 나누어야 합니다. 16비트 정밀도에서 가중치만 고려한 경험칙(매개변수 십억 개당 약 2 GB): 활성화 값과 캐시를 제외하면 매개변수 최대 약 12B개까지입니다. 이는 기록된 VRAM을 바탕으로 한 단순 계산이며 벤치마크가 아닙니다.

2. 02Ada Lovelace 아키텍처

   아키텍처

   Ada Lovelace

   세대

   Ada

   출시 연도

   2023

   수명 주기 상태

   Current

   Ada Lovelace는 FP8을 지원하는 네 번째 세대 텐서 코어와 세 번째 세대 레이 트레이싱 코어를 도입했습니다. (아키텍처에 대한 일반적인 맥락이며, 이 특정 카드에 대한 설명이 아닙니다.)

   2023년 출시. Kovara 기록에는 현행 세대 제품으로 등록되어 있습니다.

3. 03폼 팩터 및 전력

   NVLink

   미지원

   MIG

   미지원

   폼 팩터

   PCIe low-profile single-slot

   TDP

   72 W

   Kovara 기록에는 NVLink 지원이 없으므로, 이 제품의 멀티 GPU 작업은 데이터 이동에 PCIe나 서버 간 네트워크를 사용합니다.

   PCIe 카드는 표준 서버 및 워크스테이션 확장 슬롯에 장착되므로 다양한 시스템에 적합합니다.

   TDP는 정격 열 설계 전력으로, 서버의 전력 공급과 냉각을 계획할 때 쓰는 수치입니다.

4. 04용도

   주요 용도(기록됨)

   AI inference / video / graphics

   Kovara가 이 제품에 대해 기록한 용도입니다. 메모는 워크로드를 일반적인 관점에서 설명하며, 성능에 대한 주장이 아닙니다.

   • AI inference학습된 모델을 실행해 요청에 응답하는 과정입니다. 메모리 용량, 지연 시간, 요청당 비용이 주된 고려 사항입니다.
   • video동영상 트랜스코딩 및 동영상 분석 파이프라인.
   • graphics인터랙티브 그래픽과 전문 디자인 또는 엔지니어링 애플리케이션.

수치는 2026년 9월 03일에 마지막으로 검증된 Kovara 마스터 데이터입니다. 설명은 기술을 일반적으로 다룬 것으로, 벤치마크가 아니며 가격이나 가용성에 대해서는 아무것도 말하지 않습니다.