Un modelo de visión como verificador de fotogramas: qué detectó y qué dejó pasar
Vídeo
Los modelos de imagen escriben palabras falsas en carteles, añaden marcas de agua y dan a las personas demasiados dedos. Un fotograma defectuoso detectado después del render cuesta un re-render; detectado antes, cuesta un redibujo. Por eso, cada imagen que Studio dibuja se muestra primero a un modelo de visión.
Cómo funciona la comprobación
Cada fotograma se reduce a un JPEG de como máximo 1.024 píxeles en su lado más largo y se envía con una instrucción: responde solo con JSON, ok true o false más una lista de problemas, y di false para cualquier texto escrito, letras, números, marca de agua o logotipo, o para manos, caras o cuerpos deformados, o una imagen rota. Un fotograma rechazado se dibuja de nuevo con una nueva semilla, hasta un límite que tú establezcas. Si ningún dibujo pasa, el trabajo se detiene con las razones en lugar de publicar un fotograma defectuoso. Un fotograma que es un color plano, o el cuadrado negro que devuelven algunos filtros de seguridad, se rechaza antes incluso de preguntar al modelo.
La prueba
Usamos el mismo modelo local que escribe nuestros guiones, servido por vLLM en nuestra propia máquina, y le dimos cuatro imágenes que nuestro modelo de imagen había hecho antes: una taza de café sobre una mesa de madera, una manzana sobre fondo blanco, una persona al teléfono frente a una estantería, y la imagen del café con "SALE 50% OFF" escrito encima.
- Las tres imágenes limpias pasaron, incluida la de la estantería, cuyos lomos de libros esperábamos que provocaran una falsa alarma.
- La imagen con el eslogan fue rechazada, con la razón "texto escrito".
- En el bucle completo, el fotograma del eslogan llegó primero, fue rechazado, y el redibujo pasó: dos dibujos para esa escena.
Cada comprobación tardó de 3 a 14 segundos, en un modelo que estaba ocupado con otros trabajos en ese momento.
Lo que no hace
Un modelo de visión es un segundo par de ojos, no una garantía. Puede pasar por alto un pequeño artefacto, y una instrucción estricta a veces rechazará una imagen que tú habrías conservado, lo que cuesta un redibujo en lugar de un mal vídeo. Cuatro imágenes son una comprobación del cableado, no una estadística. Revisa tú mismo tus primeros vídeos, y ajusta el límite de redibujo según lo que veas.
Studio ejecuta esta comprobación con cualquier modelo que tu servidor exponga con entrada de imagen; deja la configuración de visión vacía y la comprobación estará desactivada.