Dividir um corpus em unidades recuperáveis
Para uma extração de características, uma análise de imagens ou uma transformação de arquivos, dê a cada unidade de trabalho um identificador estável. Grave o resultado em um local determinístico e registre tanto os sucessos quanto as falhas. Uma interrupção deve permitir retomar os elementos restantes sem confundir arquivos ausentes com arquivos inválidos.
Teste primeiro esse mecanismo com algumas entradas heterogêneas. O entregável útil é um procedimento capaz de detectar um trabalho incompleto, não apenas uma pasta contendo saídas.
Encontrar o batch que mantém uma margem
Os 48 GB permitem explorar lotes mais volumosos do que uma capacidade de 24 GB, dependendo da carga. Varie a quantidade de elementos sem alterar o formato deles e depois adicione os casos mais pesados. O batch escolhido deve absorver essas diferenças sem saturar a memória a cada variação de entrada.
No PyTorch, diferencie a memória ocupada pelos tensores da memória reservada pelo alocador. Um número alto na ferramenta do sistema não significa automaticamente que existe um vazamento; examine sua evolução e os objetos mantidos pelo programa.
A40, RTX A6000 ou L40S
A RTX A6000 permanece na família Ampere com 48 GB e merece uma comparação para o seu software. A L40S mantém essa capacidade na arquitetura Ada, sobretudo para um pipeline voltado a inferência ou mídia. Se o corpus couber em 24 GB e os lotes forem pequenos, verifique também se uma placa mais modesta basta para o seu objetivo.
Alinhar período e volume a processar
Use 3 dias para estimar o trabalho a partir de uma amostra, 7 dias para uma primeira campanha controlada ou 30 dias para várias ondas planejadas. Uma estimativa vinda do seu próprio teste é mais útil do que uma extrapolação a partir do nome da GPU.
Configure os lotes A40, a duração e o ambiente, depois seus dados de contato. Após a escolha da cripto, guarde o dossiê do pedido com o manifesto do corpus. O botão «J’ai payé» registra a notificação após a transferência e deixa a verificação seguir seu curso.