Yalnızca modeli değil, hattı test edin
Çok modlu bir uygulama için kullanımlarınızı temsil eden dosyalar seçin: farklı biçimler, boyutlar ve süreler. Okuma, hazırlama, hesaplama ve dışa aktarma sürelerini ölçün. GPU kendi kısmını hızlıca bitirse bile bir kod çözme veya CPU dönüştürme adımı tümünü sınırlayabilir.
Ayrıca geçerli bir çıktının ne olduğunu tanımlayın: sonuç sayısı, biçim, boyutlar ve girdiyle eşleşme. Böylece izole bir hesaplama süresi yerine dağıtım için yararlı bir ölçüm elde edersiniz.
48 GB içinde pay bırakmak
Ağırlıkların yanı sıra girdilere ve geçici durumlara da yer ayırın. Birden çok isteği işleyen bir hizmet için eşzamanlılığı kademeli olarak artırın ve bellek zirvesini izleyin. Büyük bir dosyayı ve birkaç sıradan dosyayı ayrı ayrı test edin; iki durum farklı kısıtlar doğurabilir.
PyTorch/CUDA yığınını ve gerçekten kullanılan medya kitaplıklarını doğrulayın. L40S NVLink sunmaz: kartları çoğaltmak için, birleşik bellek varsaymadan işi açıkça dağıtan bir yazılım öngörün.
Uygulama yoluna göre seçim yapmak
Modeliniz ve girdileriniz sığıyorsa 24 GB'lık L4 bir denemeyi hak eder. RTX 6000 Ada da 48 GB sunar ve projeniz hesaplama ile görselleştirme araçlarını birleştiriyorsa karşılaştırılabilir. Bellek ihtiyacı bu kapasiteyi aşarsa, bölmeyi karmaşıklaştırmadan önce 80 GB'lık teklifleri inceleyin.
Hizmetinizi doğrulamak için bir paket
3 günü asgari hatta, 7 günü zor biçimlere ve eşzamanlılık denemelerine veya 30 günü arşivlenmiş yapılandırmalarla yinelenen bir kampanyaya ayırın. Bir hatayı ortaya çıkaran örnekleri saklayın: bunlar regresyon testleriniz olacak.
Hazırlığınızı, lotları ve süreyi seçin, ardından sipariş bilgilerini tamamlayın. Yazılımlarınızı ve işlemlerinizi bağımsız olarak yönetirsiniz; Kernodeck dosyalarınızın, promptlarınızın veya hesaplamalarınızın içeriğini denetlemez. Kripto transferi daha sonra « J'ai payé » ile bildirilir.