Zapisz hipotezę przed uruchomieniem obliczeń
Opisz zachowanie, które chcesz poprawić: klasyfikację dokumentów z danej dziedziny, zachowanie formatu odpowiedzi lub ekstrakcję ustrukturyzowanych informacji. Ustal też, co nie może się pogorszyć. W przypadku ekstrakcji może to być poprawność formatu i obecność wymaganych pól; w przypadku klasyfikacji — metryka dla każdej kategorii zamiast jednej średniej globalnej.
Najpierw oceń model wyjściowy na zbiorze oddzielonym od treningowego. Zachowaj wyniki i konfigurację tej ewaluacji. Dzięki temu porównasz adaptację z konkretnym punktem wyjścia i wykryjesz poprawę ograniczoną do niektórych przykładów. Zachowaj ostateczne dane testowe: użycie ich do kolejnego wyboru wszystkich ustawień osłabia ich wartość kontrolną.
Przygotuj dane i ich podział
Wersjonuj przykłady, reguły czyszczenia i transformacje. Szukaj duplikatów między treningiem a ewaluacją, a następnie sprawdź niewielką próbkę po dokładnym wstępnym przetworzeniu przez program. W przypadku tekstu zweryfikuj tokenizer, separatory, obcinanie i pozycje, na których obliczana jest strata. W przypadku obrazów zweryfikuj wymiary i transformacje stosowane do kategorii.
Przykład przygotowania: weź kilka reprezentatywnych przykładów z każdej kategorii, wyświetl ich kształt po transformacji i ręcznie zweryfikuj oczekiwany cel. Następnie wykonaj pełny przebieg w pętli treningowej i ewaluacyjnej. Ta metoda służy do wykrywania błędów danych lub połączeń; nie pozwala wyciągnąć wniosków o końcowej jakości modelu.
Wybierz parametry, które trenujesz
Pełny fine-tuning aktualizuje wszystkie parametry przewidziane przez twój model. Metoda taka jak LoRA zachowuje wagi bazowe i uczy dodatkowych macierzy niskiego rzędu w wybranych modułach. Ten wybór zmniejsza liczbę parametrów trenowalnych, ale nie eliminuje konieczności wczytania modelu bazowego i przetworzenia jego aktywacji.
Zapisz docelowe moduły, parametry trenowalne i ewentualne dodatkowe zapisywane warstwy. W przypadku LoRA rząd jest częścią konfiguracji do porównania; sam nie wystarcza do przewidzenia jakości. Od początku sprawdzaj, czy aktualizacja faktycznie zmienia oczekiwane parametry. Przy eksporcie adapter musi pozostać powiązany z modelem bazowym i jego dokładną wersją.
Zwymiaruj pełny krok treningowy
Wykonaj krok obejmujący obliczenie straty, propagację wsteczną i aktualizację optymalizatora. Model, który mieści się w pamięci podczas wczytywania, może przekroczyć dostępną pojemność w tym kroku. Zmierz z reprezentatywną długością wejścia i mikrobatchem. Precyzja, stany optymalizatora i faktycznie trenowane parametry wchodzą w skład oszacowania.
Akumulacja gradientów pozwala zorganizować aktualizację na podstawie wielu mikrobatchy; udokumentuj ich liczbę i normalizację straty. Activation checkpointing wymienia niektóre dodatkowe obliczenia na mniej zachowywanych aktywacji. Sprawdź te opcje osobno, zanim je połączysz. Zmieniają one przebieg eksperymentu i muszą znaleźć się w dokumentacji wyników.
Utrzymaj CUDA, ROCm i tryb rozproszony w protokole
Sprawdź zgodność modelu, rozszerzeń i metody adaptacji z wybranym backendem. Na NVIDIA przygotuj łańcuch CUDA; na AMD łańcuch ROCm. Zmiana platformy wymaga ponownego wykonania kontroli uruchomienia i jakości. Zachowaj faktycznie używane wersje, zamiast zakładać, że środowisko o tej samej nazwie daje takie samo wykonanie.
W DistributedDataParallel każdy proces pracuje na replice modelu, a gradienty są synchronizowane. Ta strategia nie współdzieli automatycznie wag między pamięciami GPU; rozmieszczenie danych również trzeba skonfigurować. Jeśli Twoim celem jest zmieszczenie większego stanu, rozważ strategię, która ten stan rozdziela, i sprawdź jej ograniczenia, zanim zwiększysz liczbę batchy.
Zorganizuj warianty i ostateczną decyzję
Nadaj każdemu eksperymentowi identyfikator i zmieniaj tylko jeden zestaw parametrów, który potrafisz wyjaśnić. Zachowaj tę samą procedurę oceny między wariantami, z użytym ziarnem losowości, budżetem treningowym i danymi. Zapisuj również próby przerwane lub nieudane: wykluczenie ich bez wyjaśnienia utrudnia interpretację porównania.
Zaplanuj wynajem na 3, 7 lub 30 dni wokół odrębnych faz: kontrola wstępna, eksperyment, ocena, wznowienie i eksport. Zachowaj margines na odczytanie checkpointu w nowym procesie. Na koniec dostarcz model lub adapter, jego konfigurację, wyniki porównawcze i zaobserwowane ograniczenia. Zachowujesz autonomię w wyborze przetwarzania; Kernodeck nie przeprowadza inspekcji ich zawartości.