Zwei Karten, ein expliziter Aufteilungsplan
Wählen Sie zunächst zwischen zwei Strategien: eine Kopie des Modells auf jeder Karte, um unterschiedliche Daten zu verarbeiten, oder ein wirklich zwischen den GPUs aufgeteiltes Modell. Der Datenparallelismus von PyTorch verwandelt nicht von sich aus zwei Speicher in eine einzige, für ein zu großes Modell nutzbare Reserve.
Die 180 GB gehören jeweils zur einzelnen B200. Um sie gemeinsam zu nutzen, dokumentieren Sie die Aufteilung des Modells, den Austausch zwischen den Prozessen und die Sicherung der Partitionen. Ein kurzer Test der Kommunikation und der Wiederherstellung sollte der vollständigen Kampagne vorausgehen.
Blackwell prüfen, bevor Sie optimieren
Bereiten Sie eine PyTorch-Distribution und kompilierte Erweiterungen vor, die mit B200 kompatibel sind. Eine fehlerfrei importierte Python-Bibliothek kann dennoch beim ersten CUDA-Kernel scheitern: Testen Sie daher das Laden, einen Vorwärtsdurchlauf, die Gradientenberechnung und das Schreiben eines Checkpoints. Behalten Sie die Versionen, die diesen Ablauf ausgeführt haben.
Trennen Sie anschließend in Ihren Messungen die anfängliche Kompilierung von der stabilisierten Berechnung. Diese Unterscheidung hilft zu entscheiden, ob eine Optimierung es wert ist, für Ihre eigene Last beibehalten zu werden.
Wann H200 oder MI300X wählen
Wenn Ihre gesamte Verarbeitung auf einer einzigen Karte passt und die zweite GPU nicht nutzt, prüfen Sie die H200 SXM mit 141 GB. Wenn Ihre Priorität ein großer Speicher pro Karte mit einer beherrschten ROCm-Umgebung ist, stellt die MI300X mit 192 GB eine weitere Option dar. Die Wahl hängt zuerst von der Software und dem Berechnungsplan ab.
Das Paket und seine Ergebnisse planen
Planen Sie 3 Tage ein, um den verteilten Start zu validieren, 7 Tage, um mehrere Einstellungen zu vergleichen, und 30 Tage für eine Kampagne mit regelmäßigen Checkpoints. Jedes bestellte Paket enthält zwei B200; prüfen Sie die Gesamtzahl der Karten in der Zusammenfassung.
Wählen Sie die Laufzeit, die Pakete und die Vorbereitung, und geben Sie dann Vorname, Nachname und E-Mail an. Wählen Sie Ihre Krypto und ihr Netzwerk; nach der Überweisung erfasst „J’ai payé“ Ihre Meldung. Bewahren Sie die Bestellreferenz zusammen mit dem Manifest der Ausführungen auf.