Una aplicación de una sola tarjeta legible
Empieza por un proceso que carga su modelo, procesa un lote y exporta un resultado. Fija el tamaño de las entradas y el número de peticiones. Este escenario sencillo permite identificar si el siguiente esfuerzo debe centrarse en la memoria GPU, los datos o la lógica de Python.
Con 80 GB puedes explorar cargas más voluminosas que con una tarjeta de 24 o 48 GB, manteniendo a la vez un único dominio de memoria que gestionar. No obstante, prevé un margen para las asignaciones temporales de tu motor.
Observar las transferencias tanto como el kernel
Un programa que recarga los mismos datos entre dos llamadas puede pasar una parte importante de su tiempo fuera del cálculo útil. Cronometra por separado la preparación en CPU, la transferencia, la ejecución y la recuperación del resultado. Para las mediciones CUDA, ten en cuenta la ejecución asíncrona para no medir solo el envío del trabajo.
Valida el funcionamiento con tu versión de PyTorch y las bibliotecas compiladas del proyecto. Guarda una prueba sin optimización como punto de comparación antes de modificar la ruta de ejecución.
Comparar sin confundir los formatos H100
La H100 SXM y la H100 PCIe no describen la misma configuración de hardware. Elige la SXM si tu estudio justifica medir su comportamiento para intercambios distribuidos. Opta más bien por la H200 cuando tu carga de una sola tarjeta supera los 80 GB. La A100 SXM sigue siendo una alternativa que considerar para un entorno Ampere ya cualificado.
Alquilar para tomar una decisión
Un plan de 3 días puede servir para establecer el perfil inicial. En 7 días, prueba varios tamaños de lote y guarda un informe comparativo; en 30 días, organiza las ejecuciones y su seguimiento con identificadores estables.
Elige la duración, el número de lotes y la preparación en el configurador, y luego crea tu cuenta o inicia sesión. El pago sigue el activo y la red seleccionados. Tras tu transferencia, «He pagado» añade una notificación al pedido, que encontrarás en tu cuenta de Kernodeck.