Построить набор проверок GPU
Соберите несколько важных операций вашего проекта: загрузку весов, преобразование входа, вычисление модели и сериализацию результата. Каждый тест должен сообщать, что именно он проверяет, и сохранять достаточно информации, чтобы объяснить сбой. Короткий набор тестов, запускаемый регулярно, защищает вашу работу лучше, чем одна длинная демонстрация.
RTX A5000 подойдёт для проверки этой процедуры на нагрузке, укладывающейся в 24 GB. Включите пример, близкий к вашему пределу памяти, чтобы не проверять только простые случаи.
Поддерживайте согласованность Python и CUDA
Отделите окружение проекта от остальных ваших инструментов и зафиксируйте необходимые зависимости. Если какое-либо расширение компилируется во время установки, укажите также его компилятор и целевую платформу. Повторно прогоните набор тестов после обновления, прежде чем перезапускать все вычисления.
Для сравнения числовых результатов используйте допуск, привязанный к вашей задаче. Смена платформы или библиотеки может изменить порядок вычислений; документировать расхождение полезнее, чем предполагать, что одно и то же зерно всегда даст идентичные байты.
Знать, когда тест становится слишком большим
Если модель или её входные данные превышают 24 GB, RTX A6000 сохраняет архитектуру Ampere и увеличивает объём до 48 GB. L4 предлагает другой подход для сервиса инференса на Ada. RTX 3090 остаётся ещё одним вариантом на 24 GB, который стоит рассмотреть с теми же тестами и тем же программным обеспечением, не делая выводов лишь по коммерческому названию.
Выбрать период с ожидаемым результатом
Тариф на 3 дня может дать набор тестов и его первый отчёт. За 7 дней проверьте несколько версий или параметров. За 30 дней организуйте волны вычислений и архивируйте их конфигурации, ошибки и итоговые выходные данные.
Выберите лоты A5000, длительность и подготовку, затем заполните свои контактные данные. После выбора криптовалюты и сети сводка сопровождает вас вплоть до оплаты. «Я оплатил» отмечает ваш перевод; сохраните заказ вместе с отчётом о проверке, чтобы восстановить аппаратный контекст испытаний.