Hesaplamayı başlatmadan önce hipotezi yazın
İyileştirilecek davranışı tanımlayın: bir alandaki belgeleri sınıflandırmak, bir yanıt formatına uymak veya yapılandırılmış bilgi çıkarmak. Ayrıca kötüleşmemesi gereken şeyi de belirleyin. Çıkarım için bu, formatın geçerliliği ve gerekli alanların bulunması olabilir; sınıflandırma için tek bir genel ortalamadan ziyade kategori başına bir metrik olabilir.
Önce başlangıç modelini eğitimden ayrı bir küme üzerinde değerlendirin. Bu değerlendirmenin çıktılarını ve yapılandırmasını saklayın. Böylece uyarlamayı somut bir başlangıç noktasıyla karşılaştırabilir ve belirli örneklerle sınırlı bir iyileşmeyi fark edebilirsiniz. Nihai test verilerini saklı tutun: tüm ayarları sırayla seçmek için bunları kullanmak, sonunda kontrol değerlerini zayıflatır.
Verileri ve bölünmelerini hazırlayın
Örnekleri, temizleme kurallarını ve dönüşümleri sürümleyin. Eğitim ile değerlendirme arasındaki kopyaları arayın, ardından programın tam ön işlemesinden sonra küçük bir örneği inceleyin. Metin için tokenizer'ı, ayırıcıları, kırpmayı ve kaybın hesaplandığı konumları doğrulayın. Görüntüler için boyutları ve kategorilere uygulanan dönüşümleri doğrulayın.
Hazırlık örneği: her kategoriden birkaç temsili örnek alın, dönüşüm sonrası biçimlerini görüntüleyin ve beklenen hedefi elle doğrulayın. Ardından eğitim döngüsü ve değerlendirme içinde tam bir geçiş yapın. Bu yöntem veri veya bağlantı hatalarını arar; modelin nihai kalitesi hakkında sonuç çıkarmaya izin vermez.
Eğittiğiniz parametreleri seçin
Tam bir fine-tuning, modelinizin öngördüğü tüm parametreleri günceller. LoRA gibi bir yöntem, temel ağırlıkları korur ve seçilen modüllerde düşük ranklı ek matrisler öğrenir. Bu seçim eğitilebilir parametre sayısını azaltır, ancak temel modeli yükleme ve aktivasyonlarını işleme gereğini ortadan kaldırmaz.
Hedeflenen modülleri, eğitilebilir parametreleri ve kaydedilen olası ek katmanları kaydedin. LoRA için rank, karşılaştırılacak yapılandırmanın bir parçasıdır; kaliteyi tahmin etmeye tek başına yetmez. Başlangıçtan itibaren bir güncellemenin gerçekten beklenen parametreleri değiştirdiğini doğrulayın. Dışa aktarımda adaptör, temel model ve tam sürümüyle ilişkili kalmalıdır.
Eksiksiz bir eğitim adımını boyutlandırın
Kayıp hesaplama, geri yayılım ve optimize edici güncellemesini içeren bir adımı doğrulayın. Yüklenirken bellekte tutulan bir model, bu adım sırasında kullanılabilir kapasiteyi aşabilir. Temsili bir giriş uzunluğu ve mikrobatch ile ölçüm yapın. Hassasiyet, optimize edici durumları ve gerçekten eğitilen parametreler tahmine dahildir.
Gradyan birikimi, birkaç mikrobatch'ten bir güncelleme düzenlemeye olanak tanır; sayılarını ve kayıp normalizasyonunu belgelendirin. Aktivasyon checkpointing, korunan daha az aktivasyon karşılığında bazı ek hesaplamaları takas eder. Bu seçenekleri birleştirmeden önce ayrı ayrı doğrulayın. Deneyin akışını değiştirirler ve sonuç dosyasında yer almalıdırlar.
CUDA, ROCm ve dağıtık yapıyı protokolde tutmak
Modelin, uzantıların ve uyarlama yönteminin seçilen backend ile uyumluluğunu doğrulayın. NVIDIA'da CUDA zincirini, AMD'de ROCm zincirini hazırlayın. Platform değişikliği, başlatma ve kalite kontrollerinin yeniden yapılmasını gerektirir. Aynı adı taşıyan bir ortamın aynı yürütmeyi ürettiğini varsaymak yerine gerçekten kullanılan sürümleri saklayın.
DistributedDataParallel ile her süreç modelin bir kopyasıyla çalışır ve gradyanlar senkronize edilir. Bu strateji ağırlıkları GPU bellekleri arasında otomatik olarak paylaşmaz; veri dağılımı da yapılandırılmalıdır. Amacınız daha büyük bir durumu sığdırmaksa, bu durumu dağıtan bir stratejiyi inceleyin ve parti sayısını artırmadan önce kısıtlarını doğrulayın.
Varyantları ve nihai kararı düzenlemek
Her deneye bir tanımlayıcı verin ve yalnızca açıklayabileceğiniz bir parametre kümesini değiştirin. Değişkenler arasında aynı değerlendirme prosedürünü, kullanılan tohum, eğitim bütçesi ve verilerle birlikte koruyun. Yarıda kesilen veya geçersiz denemeleri de kaydedin: açıklama olmadan hariç tutmak, karşılaştırmayı yorumlamayı zorlaştırır.
3, 7 veya 30 günlük kiralamayı belirgin aşamalar etrafında planlayın: ilk kontrol, deney, değerlendirme, devam ve dışa aktarma. Yeni bir süreçte bir checkpoint'i yeniden okumak için pay bırakın. Sonunda modeli veya adaptörü, yapılandırmasını, karşılaştırmalı sonuçları ve gözlemlenen sınırları teslim edin. İşlemlerin seçiminde özerk kalırsınız; Kernodeck içeriklerinin incelenmesini yapmaz.