Een representatieve request definiëren
Een dienst voor embeddings, classificatie of transcriptie heeft niet dezelfde invoeren. Stel de lengte van documenten, de beeldafmetingen of de audioduur vast en stel vervolgens een kleine set samen die hun diversiteit dekt. Definieer voor elk geval een verwachte uitvoer en de manier om een fout te melden.
Meet het laden van het model apart. De latentie van een eerste aanroep en die van een proces dat al gereed is, beantwoorden twee verschillende vragen voor de gebruiker van je applicatie.
De 24 GB verdelen over de requests
Begin met één request en verhoog dan de gelijktijdigheid met dezelfde invoeren. Houd geheugen en wachtrij in het oog: meer oproepen tegelijk accepteren betekent niet dat ze sneller klaar zijn. Stel een limiet vast en een duidelijke gedraging wanneer die wordt bereikt.
Valideer de CUDA-omgeving, PyTorch en de mediabibliotheken voor voorbereiding als je dienst ze gebruikt. De videofuncties van de L4 worden alleen gebruikt als je software het compatibele pad activeert; de aanwezigheid van de hardware wijzigt een Python-script niet automatisch.
Wanneer je een andere capaciteit verkiest
Als je moeilijkste gevallen niet in 24 GB passen, biedt de L40S een optie van 48 GB binnen dezelfde Ada-familie. Voor een prototype gericht op de berekening van het model kun je ook de RTX 4090 vergelijken. Als je 80 GB in één geheugendomein wilt bestuderen, stap dan over naar de A100 in plaats van lukraak L4's te stapelen zonder softwarestrategie.
Een proef opzetten die netjes eindigt
Kwalificeer in 3 dagen het laden en de queries. Voeg na 7 dagen gelijktijdigheid, ongeldige invoer en herstart toe. Een pakket van 30 dagen kan dienen voor een iteratiecampagne met dagelijkse rapporten die je bewaart.
De opdracht vraagt om model, batches, duur en voorbereiding, en daarna het aanmaken van een account of het inloggen. Vervolgens kies je het actief en het cryptonetwerk, zonder KYC-procedure of identiteitsbewijs. Na je overschrijving registreert "Ik heb betaald" de melding. Je vindt het dossier en de afhandeling terug in je Kernodeck-account.