Eine repräsentative Anfrage definieren
Ein Dienst für Embeddings, Klassifizierung oder Transkription hat nicht dieselben Eingaben. Legen Sie die Länge der Dokumente, die Bildabmessungen oder die Audiodauer fest und erstellen Sie dann ein kleines Set, das ihre Vielfalt abdeckt. Definieren Sie für jeden Fall eine erwartete Ausgabe und die Art, einen Fehler zu melden.
Messen Sie das Laden des Modells separat. Die Latenz eines ersten Aufrufs und die eines bereits bereiten Prozesses beantworten zwei verschiedene Fragen für den Nutzer Ihrer Anwendung.
Die 24 GB auf die Anfragen aufteilen
Beginnen Sie mit einer Anfrage und erhöhen Sie dann die Nebenläufigkeit, wobei Sie dieselben Eingaben beibehalten. Überwachen Sie Speicher und Warteschlange: Mehr gleichzeitige Aufrufe anzunehmen bedeutet nicht, dass sie schneller abgeschlossen werden. Legen Sie ein Limit und ein klares Verhalten fest, wenn es erreicht ist.
Validieren Sie die Umgebung CUDA, PyTorch und die Bibliotheken zur Medienvorbereitung, falls Ihr Dienst sie verwendet. Die Videofunktionen der L4 werden nur genutzt, wenn Ihre Software den kompatiblen Pfad aktiviert; das Vorhandensein der Hardware ändert nicht automatisch ein Python-Skript.
Wann eine andere Kapazität zu wählen ist
Wenn Ihre schwierigen Fälle nicht in 24 GB passen, eröffnet die L40S eine 48-GB-Option innerhalb derselben Ada-Familie. Für einen Prototyp, der auf die Berechnung des Modells ausgerichtet ist, vergleichen Sie auch die RTX 4090. Wenn Sie 80 GB in einer einzigen Speicherdomäne untersuchen müssen, wechseln Sie zur A100, statt L4-Batches ohne Softwarestrategie zu vervielfachen.
Einen Test aufbauen, der sauber endet
Über 3 Tage qualifizieren Sie Laden und Anfragen. Über 7 Tage ergänzen Sie Nebenläufigkeit, ungültige Eingaben und Neustart. Ein 30-Tage-Paket kann für eine Iterationskampagne mit täglichen Berichten dienen, die Sie aufbewahren.
Die Bestellung fragt Modell, Batches, Dauer und Vorbereitung ab und erfordert dann die Kontoerstellung oder Anmeldung. Danach wählen Sie das Asset und das Krypto-Netzwerk, ohne KYC-Verfahren und ohne Ausweis. Nach Ihrer Überweisung erfasst „J'ai payé“ die Meldung. Die Bestellung und ihre Abwicklung finden Sie in Ihrem Kernodeck-Konto.