Ağırlık dosyasının ötesinde boyutlandırma
Bir üretim hizmeti için modelin diskteki boyutu gerekli tüm belleği tanımlamaz. Çalışma arabelleklerini ve üretim sırasında kullanılan önbelleği ekleyin. Uzun girişlerinizi ve birden çok eşzamanlılık düzeyini kapsayan bir istek kümesi oluşturun, ardından elde edilen tepe değeri ölçün.
Bu marjı, açık bir bağlam sınırı ve kuyruk seçmek için kullanın. Tek başına başarılı bir istek, birden çok istemcinin kullandığı bir hizmetin kapasitesini belirlemeye yetmez.
İzlenebilir bir CUDA yolunu koruma
Python, PyTorch, çıkarım motoru ve uzantılarını birlikte sabitleyin. Hassasiyeti veya dikkat motorunu değiştirirseniz aynı örnekleri yeniden çalıştırın ve çıktı kalitesini de karşılaştırın. H200 bellek kapasitesi sağlar; kabul edilebilir üretim parametrelerini sizin yerinize seçmez.
Tokenizer'ı, model revizyonunu ve hizmet yapılandırmasını sonuçlarınızla birlikte arşivleyin. Böylece bir yazılım değişikliğini donanım değişikliğinden ayırt edebilirsiniz.
Belleği artırmak için doğru gerekçe
İş yükünüz zaten yeterli marjla 80 GB'a sığıyorsa H200'ü seçmeden önce H100 PCIe paketini karşılaştırın. Tek bir süreç 141 GB'dan fazlasına ihtiyaç duyuyorsa MI300X'i ve ROCm uyumluluğunu inceleyin ya da B200 üzerinde çok kartlı bir bölümleme hazırlayın. Parti eklemek bir sürecin belleğini otomatik olarak büyütmez.
Yük testinden pakete
3 gün boyunca sınırlı bir bağlam/eşzamanlılık matrisine odaklanın. Bir hafta hataları, yeniden başlatmaları ve dışa aktarımları eklemenizi sağlar; 30 gün ise zaten düzenlenmiş bir yineleme kampanyasına uygundur. Sonuçları ve nihai bildirimi almak için zaman ayırın.
Yapılandırma parti sayısını, hazırlığı ve iletişim bilgilerinizi gerektirir. Kripto ödeme KYC veya kimlik belgesi olmadan sunulur. Transferden sonra "Ödedim" ile bildirin, ardından siparişinizde ödeme durumunu görün.