Probar el pipeline, no solo el modelo
Para una aplicación multimodal, elige archivos que representen tus usos: formatos, dimensiones y duraciones variados. Cronometra la lectura, la preparación, el cálculo y la exportación. Una etapa de decodificación o de transformación en CPU puede limitar el conjunto incluso cuando la GPU termina rápido su parte.
Define también qué constituye una salida válida: número de resultados, formato, dimensiones y asociación con la entrada. Obtendrás una medida útil para el despliegue en lugar de un tiempo de cálculo aislado.
Dejar margen en 48 GB
Reserva espacio para las entradas y los estados temporales además de los pesos. Para un servicio que procesa varias solicitudes, sube la concurrencia de forma progresiva y observa el pico de memoria. Prueba por separado un archivo grande y varios archivos normales; ambos casos pueden producir restricciones diferentes.
Valida la pila PyTorch/CUDA y las bibliotecas de medios que realmente utilices. El L40S no ofrece NVLink: para multiplicar las tarjetas, prevé un software que distribuya explícitamente el trabajo sin suponer una memoria unificada.
Elegir según el camino de la aplicación
El L4 de 24 GB merece una prueba si tu modelo y tus entradas caben en él. La RTX 6000 Ada ofrece también 48 GB y puede compararse cuando tu proyecto asocia cálculo y herramientas de visualización. Si la necesidad de memoria supera esa capacidad, examina las ofertas de 80 GB antes de complicar el reparto.
Un plan para validar tu servicio
Dedica 3 días a la cadena mínima, 7 días a los formatos difíciles y a las pruebas de concurrencia, o 30 días a una campaña repetida con configuraciones archivadas. Conserva los ejemplos que revelaron un error: se convertirán en tus pruebas de no regresión.
Elige tu preparación, los lotes y la duración, y luego completa los datos del pedido. Gestionas tus programas y tus procesamientos de forma autónoma; Kernodeck no inspecciona el contenido de tus archivos, prompts o cálculos. La transferencia crypto se indica después con «He pagado».