추론: 로드한 모델에서 유용한 서비스로
응답을 생성하거나, 표현을 추출하거나, 코퍼스를 처리하려는 경우입니다. 먼저 입력 형식, 크기, 요청 빈도를 정의하세요. 짧은 입력으로 한 번 테스트한 것은 여러 개의 긴 요청을 동시에 받아야 하는 서비스를 설명하지 못합니다.
추론 과정은 요청 세트, 가용성 점검, 결과 해석을 준비하는 데 도움을 줍니다. 그런 다음 측정할 워크로드를 동시에 바꾸지 않고 GPU와 매개변수를 비교할 수 있습니다. 기대 산출물은 요청 프로필, 실행 절차, 그리고 구성과 함께 보관되는 측정값 집합입니다.
적응: 다시 이어서 할 수 있는 실험 조직하기
모델을 적응하려면 학습 데이터, 방법, 평가 기준을 연결해야 합니다. 긴 실행 전에 계산 한 단계, 체크포인트 쓰기, 다시 읽기를 확인하세요. 요금제 기간과 저장 주기를 선택할 구체적인 근거가 생깁니다.
적응 과정은 실험별 구성—가설, 매개변수, 산출물, 다음 결정—을 제안합니다. 비교용으로 평가 세트를 따로 두고, 실험이 기대한 개선을 주지 못하더라도 결과를 보관하세요. 부정적인 결과를 이해하면 같은 작업을 반복하는 것을 피할 수 있습니다.
잘 분리된 작업을 위한 여러 배치
실험이 서로 독립적이라면 각 실험에 고유한 구성, 입력, 결과 저장 위치를 지정하세요. 그런 다음 어떤 작업이 어떤 GPU를 사용할지 정하세요. 이 구성은 예를 들어 파라미터 비교나 코퍼스 분할 처리에 적합합니다.
반대로 단일 분산 모델의 경우에는 프로그램에 필요한 분배 메커니즘과 교환을 준비하세요. 이때 GPU 수는 소프트웨어 아키텍처의 요소가 됩니다. 하드웨어 문서와 환경 가이드는 이 결정을 주문에 연결하는 데 도움이 됩니다.