Kiểm thử pipeline, không chỉ mô hình
Với một ứng dụng đa phương thức, hãy chọn những tệp đại diện cho nhu cầu sử dụng của bạn: định dạng, kích thước và thời lượng khác nhau. Đo thời gian đọc, chuẩn bị, tính toán và xuất. Một bước giải mã hoặc biến đổi trên CPU có thể giới hạn toàn bộ ngay cả khi GPU hoàn thành phần của mình nhanh chóng.
Bạn cũng nên xác định thế nào là một đầu ra hợp lệ: số lượng kết quả, định dạng, kích thước và liên kết với đầu vào. Bạn sẽ có được một phép đo hữu ích cho việc triển khai thay vì chỉ một thời gian tính toán đơn lẻ.
Giữ dư địa trong 48 GB
Hãy dành chỗ cho đầu vào và các trạng thái tạm thời ngoài trọng số. Với một dịch vụ xử lý nhiều yêu cầu, hãy tăng mức đồng thời dần dần và quan sát đỉnh bộ nhớ. Kiểm thử riêng một tệp lớn và nhiều tệp thông thường; cả hai trường hợp có thể tạo ra những ràng buộc khác nhau.
Hãy xác thực ngăn xếp PyTorch/CUDA và các thư viện media thực sự được dùng. L40S không có NVLink: để nhân lên nhiều card, hãy dự phòng phần mềm phân phối công việc một cách tường minh, không giả định bộ nhớ được hợp nhất.
Chọn theo lộ trình ứng dụng
L4 24 GB đáng để thử nếu mô hình và đầu vào của bạn vừa vặn. RTX 6000 Ada cũng có 48 GB và có thể được so sánh khi dự án của bạn kết hợp tính toán với các công cụ trực quan hóa. Nếu nhu cầu bộ nhớ vượt quá dung lượng này, hãy xem xét các gói 80 GB trước khi làm phức tạp việc chia nhỏ.
Một gói để đánh giá dịch vụ của bạn
Dành 3 ngày cho chuỗi tối thiểu, 7 ngày cho các định dạng khó và thử nghiệm đồng thời, hoặc 30 ngày cho một chiến dịch lặp lại với các cấu hình được lưu trữ. Hãy giữ lại những ví dụ đã phát hiện lỗi: chúng sẽ trở thành các bài kiểm thử chống hồi quy của bạn.
Chọn cách chuẩn bị, các lô và thời hạn, sau đó điền thông tin đặt hàng. Bạn tự quản lý phần mềm và các xử lý của mình; Kernodeck không kiểm tra nội dung tệp, prompt hay tính toán của bạn. Giao dịch crypto sau đó được báo bằng « J’ai payé ».