파인튜닝
파인튜닝은 학습된 모델에서 시작해 사용자의 데이터에 맞게 조정하는 과정입니다. 처음부터 학습하는 것보다 훨씬 적은 컴퓨팅이 필요하므로, 짧고 유연한 임대가 유리합니다.
가장 중요한 것
메모리에 들어가는지
모델과 옵티마이저 상태에 충분한 VRAM을 갖춘 GPU를 선택하거나, 속도를 약간 희생해 공간을 아끼는 메모리 절약 기법을 사용하세요.
짧고 간헐적인 작업
실행은 보통 몇 시간에서 며칠이 걸리므로, 장기 계약보다 시간당 가격과 빠른 시작이 더 중요합니다.
단순한 네트워킹
노드 하나로 충분한 경우가 많으므로 고급 클러스터 패브릭에 드는 추가 비용은 대개 필요하지 않습니다.
반복 가능성
실험을 다시 실행하게 되므로 예측 가능한 가격과 손쉬운 접근이 중요합니다.
일반적인 구성
모델 크기와 방식에 따라 여러 GPU를 갖춘 노드 하나, 또는 메모리가 큰 GPU 하나로도 충분합니다.
일반적인 구매 방식
온디맨드나 단기 용량이 일반적인 선택입니다. 작업이 체크포인트를 저장하고 재개할 수 있다면 스팟도 가능합니다.
흔한 실수
- 단일 노드 작업에서 쓰지 않는 클러스터 네트워킹 비용을 지불하는 것.
- 중단 가능한 용량에서 체크포인트를 건너뛰는 것.
- 데이터 세트 전송 및 스토리지 비용을 과소평가하는 것.
이는 일반적인 안내이며, 특정 제공업체나 가격을 추천하는 것이 아닙니다. 현재 상품을 확인하고 제공업체와 가용성 및 조건을 확인하세요.