Inferentie: van een geladen model naar een nuttige service
Je wilt antwoorden genereren, representaties extraheren of een corpus verwerken. Begin met het bepalen van het inputformaat, de omvang en de frequentie van de verzoeken. Een test met een korte input beschrijft geen service die meerdere lange verzoeken parallel moet aankunnen.
Het inferentietraject helpt je een set verzoeken, een beschikbaarheidscontrole en een interpretatie van de resultaten voor te bereiden. Daarna kun je de GPU en de parameters vergelijken zonder tegelijk de te meten workload te wijzigen. De verwachte resultaten zijn een verzoekprofiel, een lanceerprocedure en een set metingen die samen met de configuratie wordt bewaard.
Aanpassing: een experiment organiseren dat je kunt hervatten
Een model aanpassen vereist dat je de trainingsgegevens, de methode en de evaluatiecriteria met elkaar verbindt. Controleer vóór een lange uitvoering een rekenstap, het wegschrijven van een checkpoint en het opnieuw inlezen ervan. Je hebt dan een concrete basis om de duur van het forfait en het tempo van opslaan te kiezen.
Het aanpassingstraject stelt een organisatie per test voor: hypothese, parameters, resultaten en de volgende beslissing. Reserveer een evaluatieset voor de vergelijking en bewaar de resultaten ook wanneer de test niet de verwachte verbetering oplevert. Een negatief resultaat begrijpen kan voorkomen dat je hetzelfde werk herhaalt.
Meerdere batches voor duidelijk gescheiden werk
Als de experimenten onafhankelijk zijn, geef je elk zijn eigen configuratie, invoer en resultaatbestemming. Bepaal daarna welke taak welke kaart gebruikt. Deze organisatie is bijvoorbeeld geschikt voor een vergelijking van parameters of het verwerken van delen van een corpus.
Voor één enkel gedistribueerd model bereid je daarentegen het verdeelmechanisme en de uitwisselingen voor die het programma nodig heeft. Het aantal GPU's is dan een onderdeel van de softwarearchitectuur. De hardwarefiches en de gids over omgevingen helpen je om deze beslissing te koppelen aan je bestelling.