Anlaşılır bir tek kartlı uygulama
Modelini yükleyen, bir batch işleyen ve bir sonuç dışa aktaran bir süreçle başlayın. Girdi boyutunu ve istek sayısını sabitleyin. Bu basit senaryo, bir sonraki çabanın GPU belleğine mi, verilere mi yoksa Python mantığına mı yönelmesi gerektiğini belirlemeyi sağlar.
80 GB ile 24 veya 48 GB'lık bir karta kıyasla daha büyük yükleri keşfedebilir, yine de yönetilecek tek bir bellek alanı tutabilirsiniz. Yine de motorunuzun geçici ayırmaları için bir pay bırakın.
Çekirdek kadar transferleri de gözlemleyin
İki çağrı arasında aynı verileri yeniden yükleyen bir program, zamanının önemli bir kısmını faydalı hesaplamanın dışında geçirebilir. CPU hazırlığı, transfer, yürütme ve sonuç alma sürelerini ayrı ayrı ölçün. CUDA ölçümleri için, yalnızca işin gönderimini ölçmemek adına asenkron yürütmeyi hesaba katın.
Çalışmayı PyTorch sürümünüz ve projenin derlenmiş kütüphaneleriyle doğrulayın. Yürütme yolunu değiştirmeden önce, optimizasyonsuz bir denemeyi karşılaştırma noktası olarak saklayın.
H100 formatlarını karıştırmadan karşılaştırın
H100 SXM ve H100 PCIe aynı donanım yapılandırmasını tanımlamaz. Çalışmanız dağıtık alışverişler için davranışını ölçmeyi gerektiriyorsa SXM'i tercih edin. Tek kartlı yükünüz 80 GB'ı aşıyorsa bunun yerine H200'ü tercih edin. A100 SXM, hâlihazırda doğrulanmış bir Ampere ortamı için incelenecek bir alternatif olarak kalır.
Bir karar üretmek için kiralayın
3 günlük bir paket başlangıç profilini çıkarmaya yarayabilir. 7 gün boyunca çeşitli batch boyutlarını test edin ve karşılaştırmalı bir rapor saklayın; 30 gün boyunca yürütmeleri ve takiplerini sabit kimliklerle düzenleyin.
Yapılandırıcıda süreyi, batch sayısını ve hazırlığı seçin, ardından hesabınızı oluşturun veya giriş yapın. Ödeme, seçilen varlığı ve ağı izler. Transferinizden sonra "Ödeme yaptım", siparişe bir bildirim ekler; bunu Kernodeck hesabınızda bulabilirsiniz.