Inférence : passer du modèle chargé au service utile
Vous voulez générer des réponses, extraire des représentations ou traiter un corpus. Commencez par définir le format d’entrée, sa taille et la fréquence des requêtes. Un essai avec une entrée courte ne décrit pas un service qui doit accepter plusieurs requêtes longues en parallèle.
Le parcours inférence vous aide à préparer un jeu de requêtes, un contrôle de disponibilité et une lecture des résultats. Vous pouvez ensuite comparer le GPU et les paramètres sans changer simultanément la charge à mesurer. Les sorties attendues sont un profil de requêtes, une procédure de lancement et un ensemble de mesures conservé avec sa configuration.
Adaptation : organiser une expérience que l’on peut reprendre
Adapter un modèle demande de relier les données d’entraînement, la méthode et les critères d’évaluation. Avant une longue exécution, vérifiez une étape de calcul, l’écriture d’un checkpoint et sa relecture. Vous aurez une base concrète pour choisir la durée du forfait et le rythme de sauvegarde.
Le parcours adaptation propose une organisation par essai : hypothèse, paramètres, sorties et décision suivante. Réservez un ensemble d’évaluation à la comparaison, puis conservez les résultats même lorsque l’essai ne donne pas l’amélioration attendue. Comprendre un résultat négatif peut éviter de répéter le même travail.
Plusieurs lots pour des travaux bien séparés
Lorsque les expériences sont indépendantes, attribuez à chacune sa configuration, ses entrées et sa destination de résultats. Définissez ensuite quelle tâche utilise quelle carte. Cette organisation convient par exemple à une comparaison de paramètres ou au traitement de partitions d’un corpus.
Pour un seul modèle distribué, préparez au contraire le mécanisme de répartition et les échanges nécessaires au programme. Le nombre de GPU est alors un élément de l’architecture logicielle. Les fiches matériel et le guide des environnements vous aident à rapprocher cette décision de votre commande.