Çıkarım: yüklenmiş modelden faydalı hizmete geçiş
Yanıt üretmek, temsiller çıkarmak veya bir külliyatı işlemek istiyorsunuz. Girdi formatını, boyutunu ve istek sıklığını tanımlayarak başlayın. Kısa bir girdiyle yapılan deneme, aynı anda birkaç uzun isteği kabul etmesi gereken bir hizmeti tanımlamaz.
Çıkarım akışı, bir istek kümesi, bir kullanılabilirlik kontrolü ve sonuçların okunmasını hazırlamanıza yardımcı olur. Ardından, ölçülecek yükü aynı anda değiştirmeden GPU'yu ve parametreleri karşılaştırabilirsiniz. Beklenen çıktılar; bir istek profili, bir başlatma prosedürü ve yapılandırmasıyla birlikte saklanan bir ölçüm kümesidir.
Uyarlama: yeniden başlatılabilen bir deney düzenlemek
Bir modeli uyarlamak, eğitim verilerini, yöntemi ve değerlendirme ölçütlerini birbirine bağlamayı gerektirir. Uzun bir çalıştırmadan önce bir hesaplama adımını, bir kontrol noktası (checkpoint) yazımını ve bunun yeniden okunmasını doğrulayın. Paket süresini ve kaydetme sıklığını seçmek için somut bir temele sahip olacaksınız.
Uyarlama akışı, deney bazında bir düzenleme önerir: hipotez, parametreler, çıktılar ve bir sonraki karar. Bir değerlendirme kümesini karşılaştırmaya ayırın, ardından deney beklenen iyileştirmeyi sağlamasa bile sonuçları saklayın. Olumsuz bir sonucu anlamak, aynı işin tekrarlanmasını önleyebilir.
İyi ayrılmış işler için birden fazla parti
Deneyler bağımsız olduğunda, her birine kendi yapılandırmasını, girdilerini ve sonuç hedefini atayın. Ardından hangi görevin hangi kartı kullandığını tanımlayın. Bu düzenleme örneğin parametre karşılaştırması veya bir derlemdeki bölümlerin işlenmesi için uygundur.
Tek bir dağıtılmış model için ise bunun yerine dağıtım mekanizmasını ve program için gerekli alışverişleri hazırlayın. Bu durumda GPU sayısı yazılım mimarisinin bir unsurudur. Donanım bilgi sayfaları ve ortamlar kılavuzu bu kararı siparişinize yaklaştırmanıza yardımcı olur.