Reprendre un projet avec ses paramètres
Un environnement connu réduit les inconnues d’une nouvelle expérience. Apportez la version du code, le fichier de dépendances, les paramètres et un petit jeu d’évaluation. Testez d’abord le rechargement du modèle et le format des données avant de modifier le batch ou l’optimiseur.
La reproductibilité se construit au niveau du projet. Une même graine ne garantit pas des résultats identiques après un changement de version PyTorch, de matériel ou d’algorithme ; conservez donc les conditions et les écarts observés.
Utiliser les 80 Go pour la bonne étape
Mesurez la mémoire au moment le plus chargé de la boucle, pas seulement après l’import du modèle. Un entraînement conserve davantage d’état qu’une simple inférence. L’accumulation des gradients peut servir à travailler avec des micro-lots plus petits, mais elle ne supprime pas les poids ni l’état de l’optimiseur.
L’A100 prend en charge plusieurs formats de calcul, dont BF16. Choisissez la précision en fonction des opérations et de la qualité attendue, puis gardez les mêmes règles pour comparer deux expériences.
Une alternative doit répondre au diagnostic
Si les 80 Go suffisent mais que vous souhaitez étudier Hopper, comparez le H100 SXM avec exactement le même protocole. Si vos allocations débordent déjà, examinez plutôt le H200 à 141 Go. À l’inverse, un projet qui reste largement sous 48 Go peut justifier un essai sur RTX A6000 avant d’allouer plus de capacité.
Réserver et conserver la reprise
Trois jours conviennent à la reproduction d’un résultat ciblé ; 7 jours laissent de la place à plusieurs variantes ; 30 jours permettent d’organiser une série plus longue avec des points de reprise. Associez chaque checkpoint à son étape et testez son chargement avant l’échéance.
La location se prépare en choisissant A100, les lots, la durée et l’environnement, puis vos coordonnées. Après le choix crypto et le transfert, utilisez « J’ai payé ». Conservez le numéro de commande dans le journal de l’expérience pour relier matériel, période et résultats.