Temsili bir istek tanımlama
Bir embeddings, sınıflandırma veya transkripsiyon hizmeti aynı girdilere sahip değildir. Belge uzunluğunu, görüntü boyutlarını veya ses süresini sabitleyin, ardından bunların çeşitliliğini kapsayan küçük bir veri kümesi oluşturun. Her durum için beklenen bir çıktı ve bir hatanın nasıl bildirileceğini tanımlayın.
Model yüklemesini ayrı olarak ölçün. İlk çağrının gecikmesi ile zaten hazır olan bir sürecin gecikmesi, uygulamanızın kullanıcısı için iki farklı soruyu yanıtlar.
24 GB'ı istekler arasında paylaştırın
Bir istekle başlayın, ardından aynı girdileri koruyarak eşzamanlılığı artırın. Belleği ve kuyruğu izleyin: aynı anda daha fazla çağrıyı kabul etmek, bunların daha hızlı tamamlanacağı anlamına gelmez. Bir sınır ve bu sınıra ulaşıldığında net bir davranış belirleyin.
Hizmetiniz bunları kullanıyorsa CUDA ortamını, PyTorch'u ve medya hazırlama kitaplıklarını doğrulayın. L4'ün video işlevleri yalnızca yazılımınız uyumlu yolu etkinleştirdiğinde kullanılır; donanımın varlığı bir Python betiğini otomatik olarak değiştirmez.
Başka bir kapasiteyi ne zaman rezerve etmelisiniz
Zorlu senaryolarınız 24 GB'a sığmıyorsa, L40S aynı Ada ailesinde 48 GB'lık bir seçenek sunar. Model hesaplamasına odaklanan bir prototip için RTX 4090'ı da karşılaştırın. Tek bir bellek alanında 80 GB incelemeniz gerekiyorsa, bir yazılım stratejisi olmadan L4 partilerini çoğaltmak yerine A100'e geçin.
Düzgün sonlanan bir deneme oluşturmak
3 gün boyunca yükleme ve istekleri değerlendirin. 7 gün boyunca eşzamanlılık, geçersiz girdiler ve yeniden başlatma ekleyin. 30 günlük bir paket, sakladığınız günlük raporlarla bir yineleme kampanyasına hizmet edebilir.
Sipariş; model, partiler, süre ve hazırlığı, ardından bir hesap oluşturmayı veya oturum açmayı gerektirir. Daha sonra KYC prosedürü veya kimlik belgesi olmadan kripto varlığını ve ağını seçersiniz. Transferinizden sonra « J'ai payé » bildirimi kaydeder. Dosyayı ve ödemesini Kernodeck hesabınızdan bulabilirsiniz.