Suy luận: từ mô hình đã tải đến dịch vụ hữu ích
Bạn muốn tạo câu trả lời, trích xuất biểu diễn hoặc xử lý một tập dữ liệu. Hãy bắt đầu bằng việc xác định định dạng đầu vào, kích thước và tần suất yêu cầu. Một thử nghiệm với đầu vào ngắn không mô tả được một dịch vụ phải xử lý nhiều yêu cầu dài song song.
Quy trình suy luận giúp bạn chuẩn bị một tập yêu cầu, một bước kiểm tra tình trạng sẵn sàng và cách đọc kết quả. Sau đó, bạn có thể so sánh GPU và các tham số mà không đồng thời thay đổi tác vụ cần đo. Kết quả mong đợi là một hồ sơ yêu cầu, một quy trình khởi chạy và một tập số liệu được lưu cùng cấu hình của nó.
Tinh chỉnh: tổ chức một thử nghiệm có thể tiếp tục
Tinh chỉnh một mô hình đòi hỏi phải liên kết dữ liệu huấn luyện, phương pháp và tiêu chí đánh giá. Trước một lần chạy dài, hãy kiểm tra một bước tính toán, việc ghi một checkpoint và việc đọc lại nó. Bạn sẽ có cơ sở cụ thể để chọn thời lượng gói và nhịp lưu.
Quy trình tinh chỉnh đề xuất cách tổ chức theo từng thử nghiệm: giả thuyết, tham số, kết quả và quyết định tiếp theo. Hãy dành một tập đánh giá để so sánh, rồi lưu lại kết quả ngay cả khi thử nghiệm không mang lại cải thiện như mong đợi. Hiểu một kết quả tiêu cực có thể giúp tránh lặp lại cùng một công việc.
Nhiều lô cho những công việc tách biệt rõ ràng
Khi các thí nghiệm độc lập với nhau, hãy gán cho mỗi thí nghiệm cấu hình, đầu vào và đích kết quả riêng. Sau đó xác định tác vụ nào dùng card nào. Cách tổ chức này phù hợp, ví dụ, với việc so sánh tham số hoặc xử lý các phân vùng của một corpus.
Ngược lại, với một mô hình phân tán duy nhất, hãy chuẩn bị cơ chế phân chia và các trao đổi cần thiết cho chương trình. Khi đó số lượng GPU là một yếu tố của kiến trúc phần mềm. Các phiếu thông tin phần cứng và hướng dẫn về môi trường giúp bạn đưa ra quyết định này gần với đơn hàng của mình.