하드웨어
메모리 대역폭
GPU가 매초 메모리에서 읽거나 메모리에 쓸 수 있는 데이터의 양으로, 보통 초당 테라바이트 단위로 측정합니다.
중요한 이유
토큰 단위로 텍스트를 생성하는 작업은 순수 컴퓨팅 성능보다 메모리 대역폭에 제한되는 경우가 많으므로, 추론 속도에 큰 영향을 줍니다.
더 깊은 답변이 필요하신가요?
내 워크로드 맥락에서 메모리 대역폭에 대해 설명해 달라고 Kova에게 요청하세요. Kova 만나기 →
Loading
영어에서 번역되었습니다. 차이가 있는 경우 영어 버전이 우선합니다.
GPU가 매초 메모리에서 읽거나 메모리에 쓸 수 있는 데이터의 양으로, 보통 초당 테라바이트 단위로 측정합니다.
토큰 단위로 텍스트를 생성하는 작업은 순수 컴퓨팅 성능보다 메모리 대역폭에 제한되는 경우가 많으므로, 추론 속도에 큰 영향을 줍니다.
내 워크로드 맥락에서 메모리 대역폭에 대해 설명해 달라고 Kova에게 요청하세요. Kova 만나기 →