Mở rộng dữ liệu trước khi viết lại phần mềm
Phân đoạn trên ảnh lớn hơn, một chuỗi tensor trung gian hoặc nhiều thành phần được tải cùng nhau có thể biện minh cho 48 GB. Hãy bắt đầu lại từ một ví dụ đã chạy được, rồi tăng dần chiều đang giới hạn bạn. Cách làm này cho câu trả lời chính xác hơn việc thay đổi đồng thời phần cứng, mô hình và thư viện.
Đừng nhầm lẫn giữa dung lượng của card và lượng khả dụng cho các tensor của bạn. Ngữ cảnh GPU, các thư viện và buffer cũng chiếm bộ nhớ; hãy dự phòng một khoảng đệm trong kịch bản bạn chọn.
Giữ nguyên chuỗi tương thích Ampere
Hãy ghi chép các extension CUDA riêng của dự án và cách chúng được cài đặt. Kiểm tra việc chúng chạy với các kiểu dữ liệu và kích thước thường dùng của bạn. Tương thích với Ampere không có nghĩa là mọi phiên bản của mọi gói đều kết hợp được mà không cần công sức.
Nếu bạn thuê nhiều lot, hãy chọn giữa phân phối các tác vụ độc lập hoặc chia nhỏ một phép tính. Trong cả hai trường hợp, hãy gán tiến trình và đầu ra một cách tường minh; chương trình phải biết cách sử dụng các card bổ sung.
48 GB: so sánh dung lượng và mục tiêu
RTX 6000 Ada giữ 48 GB và cho phép khảo sát một thế hệ khác với cùng ngân sách bộ nhớ. A40 là một lựa chọn Ampere 48 GB khác để so sánh cho các xử lý theo lô. Nếu mô hình vẫn vượt dung lượng này, A100 SXM 80 GB có thể tránh việc phải chia nhỏ chương trình quá sớm.
Một dịch vụ thuê được thiết kế để tiếp tục
Ba ngày cho phép xác nhận việc mở rộng kịch bản. Một tuần có thể bao trùm việc xử lý một tập dữ liệu với kiểm tra đầu ra. Trong 30 ngày, hãy chuẩn bị một bản kê các tệp đã hoàn thành và một cách tiếp tục không lặp lại những gì đã thành công.
Hãy ghi lại thời hạn và các lot trong cấu hình, chọn cách chuẩn bị của bạn rồi điền tên, họ và email. Thanh toán crypto tuân theo mạng và số tiền được hiển thị. Sau khi chuyển tiền, thông báo « Tôi đã thanh toán » vẫn có thể xem trong đơn hàng, cùng trạng thái xác minh.