Von einem vollständigen Trainingsschritt ausgehen
Ihr erster Durchlauf sollte das Einlesen der Daten, den Vorwärtsdurchlauf, die Gradientenberechnung und das Update des Optimierers abdecken. Messen Sie diesen vollständigen Zyklus, bevor Sie die Batch-Größe erhöhen. Die Gewichte sind nur ein Teil des belegten Speichers: Auch Aktivierungen und Trainingszustände müssen in die 80 GB passen.
Behalten Sie eine repräsentative Eingabesequenz bei, einschließlich der umfangreichen Beispiele. So vermeiden Sie es, die gesamte Kampagne anhand eines besonders einfachen ersten Batches zu dimensionieren.
Mixed Precision und kontrollierter Vergleich
Mit autocast erlaubt PyTorch, für bestimmte Operationen eine passende Präzision zu wählen. Testen Sie diese Einstellung mit Ihrer Verlustfunktion und Ihren Validierungskriterien. Eine aktivierte Option ist kein Beweis für numerische Stabilität: Behalten Sie einen Vergleichslauf, Metriken und die exakten Parameter bei.
Unterscheiden Sie bei mehreren Karten zwischen Batch pro GPU und globalem Batch. Die Anzahl der Prozesse und die Gradientenakkumulation gehören ebenso zum Protokoll wie die Lernrate.
SXM, PCIe oder mehr Speicher
Der H100 PCIe behält eine Kapazität von 80 GB und verdient einen Vergleich für eine überwiegend Einzelkarten-Arbeit. Messen Sie bei häufigen Austauschvorgängen zwischen GPUs die tatsächlich von Ihrer Anwendung genutzte Topologie; die Bezeichnung SXM ersetzt diese Prüfung nicht. Bevorzugen Sie den H200, wenn das identifizierte Problem in erster Linie der Speichermangel pro Karte ist.
Einen Zeitraum reservieren, der die Wiederaufnahme einschließt
Wählen Sie 3 Tage, um eine Schleife und einen Checkpoint zu validieren, 7 Tage für eine Ablationsreihe oder 30 Tage für aufeinanderfolgende Experimente. Nehmen Sie Evaluierung und Export in diesen Zeitplan auf, nicht nur die Trainings-Epochen.
Wählen Sie im Konfigurator die PyTorch- oder die benutzerdefinierte Vorbereitung, Ihre Batches und Ihre Dauer. Erstellen Sie Ihr Konto oder melden Sie sich an, bevor Sie die Bestellung speichern und die Krypto-Zahlung wählen. Die Schaltfläche „J’ai payé“ dient dazu, die Überweisung zu melden; die Zahlungsverfolgung bleibt in Ihrem Konto sichtbar.