Model visi sebagai pemeriksa frame: apa yang tertangkap dan apa yang lolos
Video
Model gambar menulis kata-kata palsu pada papan tanda, menambahkan watermark, dan membuat orang memiliki terlalu banyak jari. Frame buruk yang ditemukan setelah render membutuhkan render ulang; ditemukan sebelumnya, hanya butuh satu kali gambar ulang. Jadi, setiap gambar yang digambar Studio ditunjukkan terlebih dahulu ke model visi.
Cara kerja pemeriksaan
Setiap frame diperkecil menjadi JPEG dengan sisi terpanjang maksimal 1.024 piksel dan dikirim dengan satu instruksi: jawab hanya dengan JSON, ok true atau false ditambah daftar masalah, dan nyatakan false untuk teks tertulis, huruf, angka, watermark atau logo, atau untuk tangan, wajah, atau tubuh yang cacat, atau gambar yang rusak. Frame yang ditolak digambar ulang dengan seed baru, hingga batas yang Anda tetapkan. Jika tidak ada gambar yang lolos, pekerjaan berhenti dengan alasan-alasannya alih-alih menerbitkan frame yang rusak. Frame yang berwarna datar, atau kotak hitam yang dikembalikan beberapa filter keamanan, ditolak sebelum model bahkan ditanya.
Pengujian
Kami menggunakan model lokal yang sama yang menulis skrip kami, dilayani oleh vLLM di mesin kami sendiri, dan memberikannya empat gambar yang telah dibuat model gambar kami sebelumnya: secangkir kopi di atas meja kayu, apel dengan latar belakang putih, orang yang sedang menelepon di depan rak buku, dan gambar kopi dengan tulisan "SALE 50% OFF" melintang di atasnya.
- Tiga gambar bersih lolos, termasuk rak buku, yang punggung bukunya kami perkirakan akan memicu alarm palsu.
- Gambar dengan slogan ditolak, dengan alasan "teks tertulis".
- Dalam loop penuh, frame slogan datang pertama, ditolak, dan gambar ulang lolos: dua kali menggambar untuk adegan itu.
Setiap pemeriksaan memakan waktu 3 hingga 14 detik, pada model yang sedang sibuk dengan pekerjaan lain saat itu.
Apa yang tidak dilakukannya
Model visi adalah sepasang mata kedua, bukan jaminan. Ia bisa melewatkan artefak kecil, dan instruksi yang ketat kadang akan menolak gambar yang seharusnya Anda pertahankan, yang berbiaya satu kali gambar ulang alih-alih video buruk. Empat gambar adalah pemeriksaan pengkabelan, bukan statistik. Periksa sendiri video pertama Anda, dan perketat atau longgarkan batas gambar ulang berdasarkan apa yang Anda lihat.
Studio menjalankan pemeriksaan ini dengan model apa pun yang diekspos server Anda dengan input gambar; kosongkan pengaturan visi dan pemeriksaan akan mati.