Умістити сценарій, перш ніж розширювати
Оберіть коротку мету: обробити набір документів, змінити кілька параметрів або згенерувати серію зображень. Завантажте повний приклад і зафіксуйте пік пам'яті. Якщо сценарій не вдається, зменшуйте по одному виміру за раз — batch, довжину або роздільну здатність — щоб зрозуміти, який із них визначає потребу.
Накопичення градієнтів може допомогти сформувати ефективний батч із мікробатчів. Воно не звільняє від потреби вимірювати етап навчання, стани якого займають більше місця, ніж простий прохід інференсу.
Вихід із пробного зошита
Коли прототип працює, експортуйте його кроки у скрипт, який приймає явну конфігурацію. Зафіксуйте модель, вхідні дані, версії пакетів і розташування вихідних даних. Ноутбук, виконаний у невідомому порядку, стає важко порівнювати після кількох днів змін.
Тримайте невеликий тест, який перевіряє завантаження CUDA і видає відомий результат. Він швидко підкаже вам, чи змінив шлях проєкту якийсь оновлення PyTorch або розширення.
Коли перевищувати 24 ГБ
Переходьте на RTX 5090, якщо 32 ГБ і сумісний стек Blackwell відповідають вашим потребам. Натомість обирайте карту на 48 ГБ, як-от RTX A6000, якщо розподіли суттєво перевищують 24 ГБ. Для застосунку, вже кваліфікованого на Ampere з помірними потребами, RTX 3090 також є доречною точкою для порівняння.
Дайте чіткий результат для кожної тривалості
За 3 дні прагніть до скрипту, який можна перезапустити, та початкового вимірювання. За 7 днів порівнюйте параметри, не змінюючи водночас набір даних. За 30 днів плануйте кілька спроб із контрольними точками та підсумком, збереженим поза робочим простором.
Щоб орендувати, оберіть лоти, тривалість і середовище, потім створіть обліковий запис або увійдіть. Далі ви обираєте актив і криптомережу. Після здійснення переказу скористайтеся кнопкою «Я оплатив» і перегляньте статус справи у своєму обліковому записі.