Tiếp tục một dự án với các tham số của nó
Một môi trường quen thuộc giúp giảm bớt những ẩn số của một thử nghiệm mới. Hãy mang theo phiên bản mã, tệp phụ thuộc, các tham số và một bộ đánh giá nhỏ. Trước tiên hãy kiểm thử việc tải lại mô hình và định dạng dữ liệu trước khi thay đổi batch hoặc optimizer.
Khả năng tái lập được xây dựng ở cấp độ dự án. Cùng một seed không đảm bảo kết quả giống hệt nhau sau khi thay đổi phiên bản PyTorch, phần cứng hoặc thuật toán; vì vậy hãy lưu lại các điều kiện và những sai lệch quan sát được.
Dùng 80 GB cho đúng bước
Hãy đo bộ nhớ tại thời điểm căng thẳng nhất của vòng lặp, không chỉ sau khi import mô hình. Một quá trình huấn luyện lưu giữ nhiều trạng thái hơn so với một phép suy luận đơn thuần. Tích lũy gradient có thể giúp làm việc với các micro-batch nhỏ hơn, nhưng nó không loại bỏ trọng số hay trạng thái của optimizer.
A100 hỗ trợ nhiều định dạng tính toán, trong đó có BF16. Hãy chọn độ chính xác dựa trên các phép toán và chất lượng mong đợi, sau đó giữ nguyên các quy tắc đó để so sánh hai thử nghiệm.
Một lựa chọn thay thế phải đáp ứng chẩn đoán
Nếu 80 GB là đủ nhưng bạn muốn tìm hiểu Hopper, hãy so sánh H100 SXM với đúng cùng một giao thức. Nếu mức phân bổ của bạn đã tràn, hãy xem xét H200 141 GB thay vì thế. Ngược lại, một dự án vẫn còn dư dả dưới 48 GB có thể biện minh cho việc thử RTX A6000 trước khi phân bổ thêm dung lượng.
Đặt trước và giữ khả năng khôi phục
Ba ngày phù hợp để tái lập một kết quả mục tiêu; 7 ngày để dành chỗ cho nhiều biến thể; 30 ngày để tổ chức một chuỗi dài hơn với các điểm khôi phục. Hãy gắn mỗi checkpoint với bước của nó và kiểm thử việc tải nó trước hạn.
Việc thuê được chuẩn bị bằng cách chọn A100, các lô, thời lượng và môi trường, sau đó là thông tin liên hệ của bạn. Sau khi chọn crypto và chuyển khoản, hãy dùng « J’ai payé ». Hãy lưu số đơn hàng trong nhật ký thử nghiệm để liên kết phần cứng, khoảng thời gian và kết quả.