Twee kaarten, een expliciet verdelingsplan
Begin met een keuze tussen twee strategieën: een kopie van het model op elke kaart om verschillende data te verwerken, of een model dat echt over de GPU's is verdeeld. PyTorch-dataparallellisme maakt op zichzelf van twee geheugens geen enkele bruikbare reserve voor een te omvangrijk model.
De 180 GB behoort toe aan elke B200. Om ze samen te benutten, documenteer je de opsplitsing van het model, de uitwisseling tussen processen en het opslaan van de partities. Een korte test van communicatie en herstel moet voorafgaan aan de volledige campagne.
Controleer Blackwell voordat je optimaliseert
Bereid een PyTorch-distributie en gecompileerde extensies voor die compatibel zijn met B200. Een Python-bibliotheek die zonder fout importeert, kan nog steeds falen bij de eerste CUDA-kernel: test dus het laden, een forward pass, de berekening van de gradiënten en het wegschrijven van een checkpoint. Bewaar de versies die dit traject hebben doorlopen.
Scheid vervolgens de initiële compilatie en de gestabiliseerde berekening in je metingen. Dat onderscheid helpt te beslissen of een optimalisatie het waard is om te behouden voor je eigen belasting.
Wanneer kiezen voor H200 of MI300X
Als je volledige verwerking op één kaart past en de tweede GPU niet gebruikt, bekijk dan de H200 SXM met 141 GB. Als je prioriteit een groot geheugen per kaart is met een beheerste ROCm-omgeving, vormt de MI300X met 192 GB een ander spoor. De keuze hangt in de eerste plaats af van de software en het berekeningsplan.
Plan het lot en zijn deliverables
Reken op 3 dagen om de gedistribueerde start te valideren, 7 dagen om meerdere instellingen te vergelijken en 30 dagen voor een campagne met regelmatige checkpoints. Elk besteld lot bevat twee B200; controleer het totaal aantal kaarten in het overzicht.
Selecteer de looptijd, de loten en de voorbereiding, en vul daarna voornaam, achternaam en e-mail in. Kies je crypto en het bijbehorende netwerk; na de overdracht registreert "Ik heb betaald" je melding. Bewaar het ordernummer samen met het manifest van de uitvoeringen.