Kiralamanızı gerekçelendiren teslimatı tanımlayın
Dosya işleme için taranacak hacmi, çıktı biçimini ve devam ettirme kuralını tanımlayın. Tamamlanan bir dosya, tüm çalıştırmayı yeniden okumadan tanınabilmelidir. Etkileşimli bir hizmet için isteklerin azami boyutunu, kabul edilebilir gecikmeyi ve kapasiteye ulaşıldığında davranışı tanımlayın. Aynı model, bu kısıtlara bağlı olarak birbirinden çok farklı iki organizasyon gerektirebilir.
Kısa, olağan ve sınırlarınıza yakın durumları içeren temsili bir örnek tutun. Bir embedding işlem hattında her vektörü girdisinin kimliği ve sürümüyle eşleştirin. Metin oluşturmada değerlendirme için kullanılan üretim parametrelerini kaydedin. Bir sonuç farkını hemen GPU'ya atfetmeden açıklayabilmelisiniz.
Belleği tüm çıkarım iş yükü için seçin
Model dosyalarının ağırlığı, çıkarım sırasında kullanılan tüm belleği tanımlamaz. Geçici tensörleri, girdileri, saklanan çıktıları ve ilgili modeller için attention'ın anahtar ve değer önbelleğini de hesaba katmak gerekir. Bu önbellek, diziler uzadığında veya birden fazla istek birlikte işlendiğinde önemli hale gelebilir.
Temsili denemenize ölçülü bir pay bırakarak olanak tanıyan belleğe sahip bir kartla başlayın. 24, 32, 48, 80 GB ve üzeri modeller farklı ihtiyaçlara yanıt verir; hiçbir kapasite belirli bir modelin tüm ayarlarıyla çalışacağını garanti etmez. Hassasiyeti düşürmek veya nicemleme yapmak bellek ayak izini değiştirebilir, ancak yazılım desteğini ve kendi girdilerinizdeki çıktı kalitesini doğrulamayı gerektirir.
Yazılım zincirinizle uyumlu GPU'yu seçin
Donanımı seçmeden önce çıkarım motorunu, özel operatörlerini ve bağımlı olduğunuz eklentileri listeleyin. Bir PyTorch uygulaması birden fazla yürütme yolu sunabilirken, özelleştirilmiş bir eklenti yalnızca birini destekler. NVIDIA için CUDA veya AMD için ROCm üzerinde, modelin yüklenmesi ve ön işlemesi dahil olmak üzere tüm zinciri doğrulayın.
Bir sonuç yazımına kadar işlem hattından geçen asgari bir komut tutun. Ancak ondan sonra optimizasyonlarınızı tek tek etkinleştirin. Hassasiyet, derleme veya motor değişikliği her seferinde karşılaştırılabilir bir kalite kontrolünü korumalıdır. Başarılı bir yükleme, ağırlıkların okunabilir olduğunu kanıtlar; gerekli tüm hesaplama yollarının çalıştığını kanıtlamaz.
İşlem hedefinize göre batch boyutunu ayarlayın
Örnek yöntem: metinleri uzunluklarına göre üç gruba ayırın, ardından her birini 1, 2 ve 4 girdilik bir batch ile işleyin. Bu boyutlar deneme noktaları olarak hizmet eder, evrensel bir öneri değildir. Her kombinasyon için tamamlanan girdileri, toplam süreyi, gözlenen azami belleği ve hataları not edin. Bir sınır ortaya çıktığında ilerlemeyi durdurun, başarısızlıkları bir ortalamanın içinde gizlemeyin.
Etkileşimli bir hizmet için kuyrukta geçirilen süreyi de ekleyin. Daha büyük bir batch, verimi ve bir isteğin hissettiği gecikmeyi değiştirebilir; seçim yapmak için tek bir ortalama yeterli değildir. Çevrimdışı işleme için gruplamanın sonuçların sırasını karıştırmadığından emin olun. Son olarak, kalite kriterinize ve gecikme kısıtınıza uyan bir yapılandırma seçin.
Uygulamanız işi dağıtabiliyorsa birden fazla GPU'ya geçin
Modelin her kopyası bir karta sığıyorsa, girdilerin ayrı bölümlerini tüketen birden fazla çalışan düzenleyebilirsiniz. Bu durumda kimlikleri, devam ettirmeleri ve çıktıların toplanmasını koordine etmek gerekir. Model kartlar arasında bölünmeliyse, motorunuzun desteklediği bir paralellik stratejisi kullanın ve iletişim gereksinimlerini doğrulayın.
Sipariş edilen lotlar, uygulama batch'ini veya birleştirilmiş bir bellek alanını değil, donanım miktarını tanımlar. B200 için bir lot iki karttan oluşur; diğer tekliflerde bir lot bir karttan oluşur. Dosyanızda planlanan worker sayısını, her birine verilen girdi payını ve bir işin gerçekten tamamlandığının nasıl doğrulanacağını belirtin.
Kontrolleri ve dışa aktarımı içeren bir süre seçin
İlk 3 günlük kiralama için sınırlı bir hedef belirleyin: kurulum, pipeline doğrulaması ve kullanılabilir ilk sonucun üretilmesi. 7 günlük bir süre daha fazla varyantı denemek için; 30 gün ise bir işlemi tekrarlayıp işletimini sağlamlaştırmak için kullanılabilir. Bunlar işi organize etme biçimleridir, çalıştırma süresi vaadi değildir.
Çıkışta ağırlıkları veya sürümlerini, yapılandırmayı, kalite kontrollerini, gerçekten elde edilen ölçümleri ve dışa aktarılan sonuçları saklayın. Yazılımlarınızı ve işlemlerinizi bağımsız olarak siz seçersiniz; Kernodeck bunların içeriğini denetlemez. Erişimlerinizi, yedeklerinizi ve modeller ile verilerin kullanımı için gerekli izinleri kendiniz hazırlayın.