Um modelo de visão como verificador de quadros: o que ele detectou e o que deixou passar
Vídeo
Modelos de imagem escrevem palavras falsas em placas, adicionam marcas d'água e dão às pessoas dedos demais. Um quadro ruim encontrado após a renderização custa uma nova renderização; encontrado antes, custa um novo desenho. Por isso, cada imagem que o Studio desenha é mostrada primeiro a um modelo de visão.
Como funciona a verificação
Cada quadro é reduzido para um JPEG de no máximo 1.024 pixels no lado maior e enviado com uma instrução: responda apenas com JSON, ok true ou false mais uma lista de problemas, e diga false para qualquer texto escrito, letras, números, marca d'água ou logotipo, ou para mãos, rostos ou corpos deformados, ou uma imagem quebrada. Um quadro rejeitado é desenhado novamente com uma nova seed, até um limite que você define. Se nenhum desenho passar, o trabalho é interrompido com os motivos, em vez de publicar um quadro quebrado. Um quadro que seja uma cor sólida, ou o quadrado preto que alguns filtros de segurança retornam, é rejeitado antes mesmo de o modelo ser consultado.
O teste
Usamos o mesmo modelo local que escreve nossos scripts, servido pelo vLLM em nossa própria máquina, e demos a ele quatro imagens que nosso modelo de imagem havia criado anteriormente: uma xícara de café sobre uma mesa de madeira, uma maçã sobre fundo branco, uma pessoa ao telefone na frente de uma estante de livros e a imagem do café com "SALE 50% OFF" escrito sobre ela.
- As três imagens limpas passaram, incluindo a da estante de livros, cujas lombadas esperávamos que gerassem um falso alarme.
- A imagem com o slogan foi rejeitada, com o motivo "texto escrito".
- No fluxo completo, o quadro com o slogan veio primeiro, foi rejeitado e o redesenho passou: dois desenhos para essa cena.
Cada verificação levou de 3 a 14 segundos, em um modelo que estava ocupado com outros trabalhos no momento.
O que ele não faz
Um modelo de visão é um segundo par de olhos, não uma garantia. Ele pode deixar passar um pequeno artefato, e uma instrução rigorosa às vezes rejeita uma imagem que você teria mantido, o que custa um redesenho em vez de um vídeo ruim. Quatro imagens são uma verificação da integração, não uma estatística. Assista você mesmo aos seus primeiros vídeos e ajuste o limite de redesenho com base no que observar.
Studio executa essa verificação com qualquer modelo que seu servidor exponha com entrada de imagem; deixe a configuração de visão vazia e a verificação fica desativada.