Een overzichtelijke single-card applicatie
Begin met een proces dat zijn model laadt, een batch verwerkt en een resultaat exporteert. Leg de grootte van de inputs en het aantal requests vast. Dit eenvoudige scenario maakt duidelijk of de volgende inspanning moet gaan naar het GPU-geheugen, de data of de Python-logica.
Met 80 GB kun je grotere workloads verkennen dan met een kaart van 24 of 48 GB, terwijl je maar één geheugendomein hoeft te beheren. Reken niettemin een marge in voor de tijdelijke allocaties van je engine.
Let net zo goed op de overdrachten als op de kernel
Een programma dat dezelfde data tussen twee aanroepen opnieuw laadt, kan een groot deel van zijn tijd buiten de nuttige berekening doorbrengen. Meet CPU-voorbereiding, overdracht, uitvoering en ophalen van het resultaat afzonderlijk. Houd bij CUDA-metingen rekening met de asynchrone uitvoering, zodat je niet alleen het indienen van het werk meet.
Valideer de werking met je versie van PyTorch en de gecompileerde bibliotheken van het project. Houd een test zonder optimalisatie als vergelijkingspunt voordat je het uitvoeringspad wijzigt.
Vergelijken zonder de H100-formaten te verwarren
De H100 SXM en de H100 PCIe beschrijven niet dezelfde hardwareconfiguratie. Kies de SXM als je studie rechtvaardigt dat je het gedrag voor gedistribueerde uitwisseling meet. Kies eerder H200 wanneer je single-card workload meer dan 80 GB vereist. De A100 SXM blijft een alternatief om te overwegen voor een al gekwalificeerde Ampere-omgeving.
Huren om een beslissing te kunnen nemen
Een pakket van 3 dagen kan dienen om het eerste profiel op te stellen. Test op 7 dagen meerdere batchgroottes en houd een vergelijkend rapport bij; organiseer op 30 dagen de uitvoeringen en hun opvolging met stabiele identificatiegegevens.
Kies de looptijd, het aantal batches en de voorbereiding in de configurator, en maak vervolgens je account aan of log in. De betaling volgt het geselecteerde actief en netwerk. Na je overschrijving voegt "Ik heb betaald" een melding toe aan de bestelling, die je terugvindt in je Kernodeck-account.