Chuẩn bị một cuộc chuyển đổi phần mềm toàn diện
Hãy liệt kê các thành phần thực thi tính toán GPU: PyTorch, các thư viện attention, lượng tử hóa và các toán tử tùy chỉnh nếu có. Một script Python khả chuyển có thể phụ thuộc vào một tiện ích mở rộng chỉ dành riêng cho CUDA. Hãy kiểm tra từng thành phần trên phiên bản ROCm đã chọn trước khi khởi chạy một chiến dịch lớn.
Trong PyTorch cho ROCm, các giao diện torch.cuda vẫn được dùng để chỉ GPU. Do đó, đừng thay thế máy móc mọi lần xuất hiện bằng « hip »: hãy xác định backend đã cài đặt và thử một phép tính nhỏ thực tế.
Khai thác 192 GB bằng một thử nghiệm tiêu biểu
Dung lượng này tạo không gian cho các mô hình, activation hoặc cache cồng kềnh. Chỉ riêng nó không đủ để suy ra kích thước tối đa của một mô hình: độ chính xác, độ dài đầu vào, phương pháp thích ứng và không gian tạm thời đều làm thay đổi tổng nhu cầu.
Hãy chuẩn bị một ca kiểm thử bao gồm cả những đầu vào dài nhất của bạn và một bản sao lưu đầy đủ. So sánh kết quả số của quá trình di chuyển với một dung sai được xác định cho tác vụ của bạn, thay vì đặt ra yêu cầu ngầm rằng các tệp phải giống hệt nhau giữa các nền tảng.
Khi nào nên giữ đường NVIDIA
Nếu một extension quan trọng không có đường ROCm khả dụng, H200 SXM 141 GB có thể đơn giản hóa dự án bằng cách tiếp tục dùng CUDA. Với phần mềm đã có thể chuyển đổi nhưng khối lượng công việc nhỏ hơn, hãy so sánh cả nhu cầu thực tế với một card 80 GB. Bộ nhớ bổ sung phải giải quyết một vấn đề đã được xác định, chứ không chỉ thay thế một chẩn đoán.
Chia nhỏ thời gian thuê thành các bước kiểm chứng
Dùng 3 ngày để cài đặt, kiểm thử và ghi lại các sai lệch; 7 ngày để ổn định các phụ thuộc và so sánh kết quả đầu ra; 30 ngày cho một chiến dịch đã kiểm chứng đường ROCm. Hãy ghi lại bản phân phối hệ thống và các phiên bản thư viện trong manifest.
Chọn MI300X, thời lượng, các lô và một sự chuẩn bị phù hợp với stack ROCm của bạn. Tên, họ và email vẫn là thông tin liên hệ đặt hàng; không yêu cầu bất kỳ giấy tờ nhận dạng KYC nào. Sau đó chọn phương thức crypto và báo chuyển khoản bằng « J’ai payé ».