소프트웨어를 다시 작성하기 전에 데이터를 키우세요
더 큰 이미지에 대한 분할, 일련의 중간 텐서 또는 여러 구성 요소를 함께 로드하는 경우 48GB가 필요할 수 있습니다. 이미 작동하는 예제를 다시 가져와서 제한이 있었던 차원을 점진적으로 늘리세요. 이 접근 방식은 하드웨어, 모델 및 라이브러리를 동시에 변경하는 것보다 더 정확한 답을 제공합니다.
카드 용량과 텐서에 사용 가능한 양을 혼동하지 마세요. GPU 컨텍스트, 라이브러리 및 버퍼도 메모리를 사용합니다. 선택한 시나리오에서 여유를 두세요.
Ampere 호환성 체인 유지
프로젝트에 특화된 CUDA 확장과 설치 방법을 문서화하세요. 평소 사용하는 데이터 유형과 차원으로 실행을 테스트하세요. Ampere와의 호환성이 모든 패키지의 모든 버전이 별도의 작업 없이 결합된다는 것을 의미하지는 않습니다.
여러 로트를 대여하는 경우 독립적인 작업을 분배할지 계산을 분할할지 선택하세요. 두 경우 모두 프로세스와 출력을 명시적으로 할당하세요. 프로그램이 추가 카드를 사용할 수 있어야 합니다.
48GB: 용량과 목표 비교
RTX 6000 Ada는 48GB를 유지하며 동일한 메모리 예산으로 다른 세대를 검토할 수 있게 해줍니다. A40은 배치 처리를 위해 비교해볼 만한 또 다른 48GB Ampere 옵션입니다. 모델이 여전히 이 용량을 초과한다면, 80GB의 A100 SXM이 프로그램의 조기 분할을 피할 수 있습니다.
이어받기를 고려한 대여
3일이면 시나리오 확장을 검증할 수 있습니다. 1주일이면 출력 확인과 함께 코퍼스 처리를 다룰 수 있습니다. 30일 동안에는 완료된 파일의 매니페스트와 이미 성공한 작업을 다시 하지 않는 재개 방식을 준비하세요.
구성에서 기간과 배치를 지정하고, 준비 방식을 선택한 뒤 이름, 성, 이메일을 입력하세요. 암호화폐 결제는 표시된 네트워크와 금액을 따릅니다. 송금 후 '결제했습니다' 신고는 검증 상태와 함께 주문에서 계속 확인할 수 있습니다.