Écrire l’hypothèse avant de lancer le calcul
Décrivez le comportement à améliorer : classer des documents d’un domaine, respecter un format de réponse ou extraire des informations structurées. Fixez aussi ce qui ne doit pas se dégrader. Pour une extraction, cela peut être la validité du format et la présence de champs requis ; pour une classification, une métrique par catégorie plutôt qu’une seule moyenne globale.
Évaluez d’abord le modèle de départ sur un jeu séparé de l’entraînement. Conservez les sorties et la configuration de cette évaluation. Vous pourrez comparer l’adaptation à un point de départ concret et repérer une amélioration limitée à certains exemples. Réservez les données de test final : les utiliser pour choisir successivement tous les réglages finit par affaiblir leur valeur de contrôle.
Préparer les données et leur découpage
Versionnez les exemples, les règles de nettoyage et les transformations. Recherchez les doublons entre entraînement et évaluation, puis inspectez un petit échantillon après le prétraitement exact du programme. Pour du texte, vérifiez le tokenizer, les séparateurs, la troncature et les positions sur lesquelles la perte est calculée. Pour des images, vérifiez les dimensions et les transformations appliquées aux catégories.
Exemple de préparation : prenez quelques exemples représentatifs de chaque catégorie, affichez leur forme après transformation et vérifiez manuellement la cible attendue. Faites ensuite un passage complet dans la boucle d’entraînement et l’évaluation. Cette méthode cherche des erreurs de données ou de câblage ; elle ne permet pas de conclure sur la qualité finale du modèle.
Choisir les paramètres que vous entraînez
Un fine-tuning complet met à jour l’ensemble des paramètres prévus par votre modèle. Une méthode comme LoRA conserve les poids de base et apprend des matrices supplémentaires de faible rang dans des modules choisis. Ce choix réduit le nombre de paramètres entraînables, mais ne supprime pas la nécessité de charger le modèle de base et de traiter ses activations.
Consignez les modules ciblés, les paramètres entraînables et les éventuelles couches supplémentaires sauvegardées. Pour LoRA, le rang fait partie de la configuration à comparer ; il ne suffit pas à prédire la qualité. Vérifiez dès le début qu’une mise à jour modifie effectivement les paramètres attendus. À l’export, l’adaptateur doit rester associé au modèle de base et à sa version exacte.
Dimensionner une étape complète d’entraînement
Validez une étape comprenant calcul de la perte, rétropropagation et mise à jour de l’optimiseur. Un modèle qui tient en mémoire pendant son chargement peut dépasser la capacité disponible pendant cette étape. Mesurez avec une longueur d’entrée et un microbatch représentatifs. La précision, les états de l’optimiseur et les paramètres effectivement entraînés font partie de l’estimation.
L’accumulation de gradients permet d’organiser une mise à jour à partir de plusieurs microbatchs ; documentez leur nombre et la normalisation de la perte. L’activation checkpointing échange certains calculs supplémentaires contre moins d’activations conservées. Vérifiez ces options séparément avant de les combiner. Elles changent le déroulement de l’expérience et doivent figurer dans le dossier de résultats.
Garder CUDA, ROCm et le distribué dans le protocole
Vérifiez la compatibilité du modèle, des extensions et de la méthode d’adaptation avec le backend choisi. Sur NVIDIA, préparez la chaîne CUDA ; sur AMD, la chaîne ROCm. Un changement de plateforme demande de refaire les contrôles de lancement et de qualité. Conservez les versions réellement utilisées plutôt que de supposer qu’un environnement portant le même nom produit la même exécution.
Avec DistributedDataParallel, chaque processus travaille avec une réplique du modèle et les gradients sont synchronisés. Cette stratégie ne partage pas automatiquement les poids entre les mémoires des GPU ; la répartition des données doit également être configurée. Si votre objectif est de faire tenir un état plus volumineux, examinez une stratégie qui répartit cet état et vérifiez ses contraintes avant d’augmenter le nombre de lots.
Organiser les variantes et la décision finale
Donnez un identifiant à chaque expérience et ne changez qu’un ensemble de paramètres que vous pouvez expliquer. Conservez la même procédure d’évaluation entre variantes, avec la graine, le budget d’entraînement et les données utilisés. Enregistrez aussi les essais interrompus ou invalides : les exclure sans explication rend la comparaison difficile à interpréter.
Planifiez la location de 3, 7 ou 30 jours autour de phases distinctes : contrôle initial, expérience, évaluation, reprise et export. Gardez une marge pour relire un checkpoint dans un nouveau processus. À la fin, livrez le modèle ou l’adaptateur, sa configuration, les résultats comparatifs et les limites observées. Vous restez autonome dans le choix des traitements ; Kernodeck ne procède pas à une inspection de leur contenu.