Інференс: від завантаженої моделі до корисного сервісу
Ви хочете генерувати відповіді, видобувати представлення чи обробляти корпус. Почніть із визначення формату вхідних даних, їхнього обсягу та частоти запитів. Тест із коротким вхідним запитом не описує сервіс, який має приймати кілька довгих запитів паралельно.
Сценарій інференсу допомагає підготувати набір запитів, перевірку доступності та читання результатів. Далі ви можете порівнювати GPU та параметри, не змінюючи водночас навантаження, яке потрібно виміряти. Очікувані результати — це профіль запитів, процедура запуску та набір вимірювань, збережений разом із його конфігурацією.
Адаптація: організувати експеримент, який можна відновити
Адаптація моделі вимагає пов’язати навчальні дані, метод і критерії оцінювання. Перед тривалим виконанням перевірте один крок обчислення, запис контрольної точки та її повторне читання. Ви матимете конкретну основу для вибору тривалості тарифу та частоти збереження.
Сценарій адаптації пропонує організацію за експериментами: гіпотеза, параметри, результати та наступне рішення. Залиште один набір для оцінювання під порівняння, а потім зберігайте результати навіть тоді, коли експеримент не дає очікуваного покращення. Розуміння негативного результату може допомогти уникнути повторення тієї самої роботи.
Кілька пакетів для чітко розділених завдань
Коли експерименти незалежні, призначте кожному свою конфігурацію, свої вхідні дані та своє місце для результатів. Потім визначте, яке завдання використовує яку карту. Така організація підходить, наприклад, для порівняння параметрів або обробки частин корпусу.
Для однієї розподіленої моделі, навпаки, підготуйте механізм розподілу та обміни, потрібні програмі. Кількість GPU тоді є елементом архітектури програмного забезпечення. Специфікації обладнання та посібник із середовищ допоможуть наблизити це рішення до вашого замовлення.