Eine gut nachvollziehbare Single-Card-Anwendung
Beginnen Sie mit einem Prozess, der sein Modell lädt, einen Batch verarbeitet und ein Ergebnis exportiert. Legen Sie die Eingabegröße und die Anzahl der Anfragen fest. Dieses einfache Szenario zeigt, ob der nächste Aufwand dem GPU-Speicher, den Daten oder der Python-Logik gelten sollte.
Mit 80 GB können Sie größere Lasten erkunden als mit einer Karte mit 24 oder 48 GB, während Sie nur eine einzige Speicherdomäne verwalten müssen. Planen Sie dennoch eine Reserve für die temporären Allokationen Ihrer Engine ein.
Transfers genauso beobachten wie den Kernel
Ein Programm, das dieselben Daten zwischen zwei Aufrufen neu lädt, kann einen erheblichen Teil seiner Zeit außerhalb der nutzbaren Berechnung verbringen. Messen Sie CPU-Vorbereitung, Transfer, Ausführung und Abruf des Ergebnisses separat. Berücksichtigen Sie bei CUDA-Messungen die asynchrone Ausführung, um nicht nur die Übermittlung der Arbeit zu messen.
Validieren Sie die Funktionsweise mit Ihrer PyTorch-Version und den kompilierten Bibliotheken des Projekts. Behalten Sie einen Testlauf ohne Optimierung als Vergleichspunkt, bevor Sie den Ausführungspfad ändern.
Vergleichen, ohne die H100-Formate zu verwechseln
Die H100 SXM und die H100 PCIe beschreiben nicht dieselbe Hardwarekonfiguration. Wählen Sie die SXM, wenn Ihre Untersuchung es rechtfertigt, ihr Verhalten bei verteilten Austauschvorgängen zu messen. Wählen Sie eher die H200, wenn Ihre Single-Card-Last 80 GB übersteigt. Die A100 SXM bleibt eine Alternative, die Sie für eine bereits qualifizierte Ampere-Umgebung prüfen sollten.
Mieten, um eine Entscheidung herbeizuführen
Ein Paket für 3 Tage kann dazu dienen, das Ausgangsprofil zu erstellen. Über 7 Tage testen Sie mehrere Batch-Größen und behalten einen Vergleichsbericht; über 30 Tage organisieren Sie die Ausführungen und ihre Nachverfolgung mit stabilen Kennungen.
Wählen Sie im Konfigurator die Dauer, die Anzahl der Batches und die Vorbereitung, und erstellen Sie dann Ihr Konto oder melden Sie sich an. Die Zahlung richtet sich nach dem gewählten Asset und Netzwerk. Nach Ihrer Überweisung fügt „J’ai payé“ der Bestellung eine Meldung hinzu, die Sie in Ihrem Kernodeck-Konto wiederfinden.