Inferenz: vom geladenen Modell zum nutzbaren Service
Sie möchten Antworten generieren, Repräsentationen extrahieren oder einen Korpus verarbeiten. Beginnen Sie damit, das Eingabeformat, seine Größe und die Anfragefrequenz zu definieren. Ein Test mit einer kurzen Eingabe beschreibt keinen Service, der mehrere lange Anfragen parallel annehmen muss.
Der Inferenz-Ablauf hilft Ihnen, ein Anfrageset, eine Verfügbarkeitsprüfung und eine Auswertung der Ergebnisse vorzubereiten. Anschließend können Sie GPU und Parameter vergleichen, ohne gleichzeitig die zu messende Last zu ändern. Die erwarteten Ergebnisse sind ein Anfrageprofil, ein Startverfahren und eine Reihe von Messwerten, die mit ihrer Konfiguration aufbewahrt werden.
Anpassung: ein Experiment organisieren, das man wieder aufnehmen kann
Die Anpassung eines Modells erfordert, Trainingsdaten, Methode und Bewertungskriterien zu verknüpfen. Prüfen Sie vor einem langen Lauf einen Berechnungsschritt, das Schreiben eines Checkpoints und dessen erneutes Einlesen. So haben Sie eine konkrete Grundlage, um die Tarifdauer und den Speicherrhythmus zu wählen.
Der Anpassungs-Ablauf schlägt eine Organisation pro Versuch vor: Hypothese, Parameter, Ergebnisse und nächste Entscheidung. Reservieren Sie ein Evaluierungsset für den Vergleich und bewahren Sie die Ergebnisse auch dann auf, wenn der Versuch nicht die erwartete Verbesserung bringt. Ein negatives Ergebnis zu verstehen kann vermeiden, dieselbe Arbeit zu wiederholen.
Mehrere Stapel für klar getrennte Arbeiten
Wenn die Versuche unabhängig voneinander sind, weisen Sie jedem seine Konfiguration, seine Eingaben und sein Ergebnisziel zu. Legen Sie dann fest, welche Aufgabe welche Karte nutzt. Diese Organisation eignet sich beispielsweise für einen Parametervergleich oder die Verarbeitung von Teilen eines Korpus.
Für ein einzelnes verteiltes Modell bereiten Sie dagegen den Verteilungsmechanismus und die für das Programm nötigen Austauschvorgänge vor. Die Anzahl der GPUs ist dann ein Element der Softwarearchitektur. Die Hardware-Datenblätter und der Leitfaden zu den Umgebungen helfen Ihnen, diese Entscheidung mit Ihrer Bestellung abzustimmen.