Un modello di visione come controllore di fotogrammi: cosa ha rilevato e cosa ha lasciato passare
Video
I modelli di immagini scrivono parole false sui cartelli, aggiungono filigrane e danno alle persone troppe dita. Un fotogramma errato trovato dopo il rendering costa un nuovo rendering; trovato prima, costa un solo ridisegno. Quindi ogni immagine che Studio disegna viene mostrata prima a un modello di visione.
Come funziona il controllo
Ogni fotogramma viene ridimensionato a un JPEG di al massimo 1.024 pixel sul lato lungo e inviato con un'istruzione: rispondere solo con JSON, ok true o false più un elenco di problemi, e dire false per qualsiasi testo scritto, lettere, numeri, filigrana o logo, o per mani, volti o corpi deformi, o un'immagine rotta. Un fotogramma rifiutato viene ridisegnato con un nuovo seed, fino a un limite impostato da te. Se nessun disegno supera il controllo, il lavoro si ferma con le motivazioni anziché pubblicare un fotogramma rotto. Un fotogramma di un colore piatto, o il quadrato nero restituito da alcuni filtri di sicurezza, viene rifiutato prima ancora di interrogare il modello.
Il test
Abbiamo usato lo stesso modello locale che scrive i nostri script, servito da vLLM sulla nostra macchina, e gli abbiamo dato quattro immagini create in precedenza dal nostro modello di immagini: una tazza di caffè su un tavolo di legno, una mela su sfondo bianco, una persona al telefono davanti a una libreria e l'immagine del caffè con "SALE 50% OFF" scritto sopra.
- Le tre immagini pulite hanno superato il controllo, inclusa quella della libreria, le cui costole dei libri ci aspettavamo avrebbero generato un falso allarme.
- L'immagine con lo slogan è stata rifiutata, con la motivazione "testo scritto".
- Nel ciclo completo, il fotogramma con lo slogan è arrivato per primo, è stato rifiutato e il ridisegno ha superato il controllo: due disegni per quella scena.
Ogni controllo ha richiesto da 3 a 14 secondi, su un modello che in quel momento era occupato con altri lavori.
Cosa non fa
Un modello di visione è un secondo paio di occhi, non una garanzia. Può perdere un piccolo artefatto, e un'istruzione rigorosa a volte rifiuterà un'immagine che avresti tenuto, il che costa un ridisegno anziché un video errato. Quattro immagini sono una verifica del collegamento, non una statistica. Controlla tu stesso i tuoi primi video e stringi o allenta il limite di ridisegno in base a ciò che vedi.
Studio esegue questo controllo con qualsiasi modello esposto dal tuo server con input di immagini; lascia vuoto l'impostazione della visione e il controllo è disattivato.