Scrivere l'ipotesi prima di avviare il calcolo
Descrivi il comportamento da migliorare: classificare documenti di un dominio, rispettare un formato di risposta o estrarre informazioni strutturate. Stabilisci anche cosa non deve peggiorare. Per un'estrazione, può essere la validità del formato e la presenza dei campi richiesti; per una classificazione, una metrica per categoria anziché un'unica media globale.
Valuta prima il modello di partenza su un set separato dall'addestramento. Conserva gli output e la configurazione di questa valutazione. Potrai confrontare l'adattamento con un punto di partenza concreto e individuare un miglioramento limitato ad alcuni esempi. Riserva i dati di test finali: usarli per scegliere via via tutti i parametri finisce per indebolirne il valore di controllo.
Preparare i dati e la loro suddivisione
Versiona gli esempi, le regole di pulizia e le trasformazioni. Cerca i duplicati tra addestramento e valutazione, poi ispeziona un piccolo campione dopo la pre-elaborazione esatta del programma. Per il testo, verifica il tokenizer, i separatori, il troncamento e le posizioni su cui viene calcolata la loss. Per le immagini, verifica le dimensioni e le trasformazioni applicate alle categorie.
Esempio di preparazione: prendi alcuni esempi rappresentativi di ogni categoria, mostra la loro forma dopo la trasformazione e verifica manualmente la destinazione attesa. Esegui poi un passaggio completo nel ciclo di addestramento e di valutazione. Questo metodo cerca errori nei dati o nel cablaggio; non permette di concludere sulla qualità finale del modello.
Scegliere i parametri che addestri
Un fine-tuning completo aggiorna l'insieme dei parametri previsti dal tuo modello. Un metodo come LoRA conserva i pesi di base e apprende matrici aggiuntive di rango ridotto in moduli scelti. Questa scelta riduce il numero di parametri addestrabili, ma non elimina la necessità di caricare il modello di base e di elaborarne le attivazioni.
Annota i moduli target, i parametri addestrabili ed eventuali layer aggiuntivi salvati. Per LoRA, il rango fa parte della configurazione da confrontare; non basta a prevedere la qualità. Verifica fin dall'inizio che un aggiornamento modifichi effettivamente i parametri attesi. In fase di esportazione, l'adattatore deve restare associato al modello di base e alla sua versione esatta.
Dimensionare una fase completa di addestramento
Convalida una fase che comprende calcolo della loss, backpropagation e aggiornamento dell'optimizer. Un modello che sta in memoria durante il caricamento può superare la capacità disponibile durante questa fase. Misura con una lunghezza di input e un micro-batch rappresentativi. La precisione, gli stati dell'optimizer e i parametri effettivamente addestrati fanno parte della stima.
L'accumulo dei gradienti permette di organizzare un aggiornamento a partire da più micro-batch; documenta il loro numero e la normalizzazione della loss. L'activation checkpointing scambia alcuni calcoli aggiuntivi con meno attivazioni conservate. Verifica queste opzioni separatamente prima di combinarle. Cambiano lo svolgimento dell'esperimento e devono figurare nel dossier dei risultati.
Mantenere CUDA, ROCm e il distribuito nel protocollo
Verifica la compatibilità del modello, delle estensioni e del metodo di adattamento con il backend scelto. Su NVIDIA, prepara la catena CUDA; su AMD, la catena ROCm. Un cambio di piattaforma richiede di rifare i controlli di avvio e di qualità. Conserva le versioni effettivamente utilizzate invece di supporre che un ambiente con lo stesso nome produca la stessa esecuzione.
Con DistributedDataParallel, ogni processo lavora con una replica del modello e i gradienti vengono sincronizzati. Questa strategia non condivide automaticamente i pesi tra le memorie delle GPU; anche la distribuzione dei dati deve essere configurata. Se il tuo obiettivo è far stare uno stato più voluminoso, esamina una strategia che ripartisca questo stato e verifica i suoi vincoli prima di aumentare il numero di batch.
Organizzare le varianti e la decisione finale
Assegna un identificatore a ogni esperimento e cambia solo un insieme di parametri che sai spiegare. Mantieni la stessa procedura di valutazione tra le varianti, con il seed, il budget di addestramento e i dati utilizzati. Registra anche le prove interrotte o non valide: escluderle senza spiegazione rende la comparazione difficile da interpretare.
Pianifica il noleggio di 3, 7 o 30 giorni attorno a fasi distinte: controllo iniziale, esperimento, valutazione, ripresa ed export. Mantieni un margine per rileggere un checkpoint in un nuovo processo. Alla fine, consegna il modello o l'adattatore, la sua configurazione, i risultati comparativi e i limiti osservati. Resti autonomo nella scelta dei trattamenti; Kernodeck non procede a un'ispezione del loro contenuto.