Model penglihatan sebagai pemeriksa bingkai: apa yang dikesan dan apa yang terlepas
Video
Model imej menulis perkataan palsu pada papan tanda, menambah tera air dan memberikan orang terlalu banyak jari. Bingkai buruk yang ditemui selepas pemprosesan semula memerlukan pemprosesan semula; ditemui sebelum itu, ia hanya memerlukan satu lukisan semula. Jadi setiap gambar yang dilukis oleh Studio ditunjukkan kepada model penglihatan terlebih dahulu.
Cara pemeriksaan berfungsi
Setiap bingkai diskala ke JPEG dengan sisi panjang maksimum 1,024 piksel dan dihantar bersama satu arahan: jawab hanya dengan JSON, ok true atau false serta senarai masalah, dan nyatakan false untuk sebarang teks bertulis, huruf, nombor, tera air atau logo, atau untuk tangan, muka atau badan yang cacat, atau imej rosak. Bingkai yang ditolak dilukis semula dengan benih baharu, sehingga had yang anda tetapkan. Jika tiada lukisan lulus, kerja berhenti dengan sebab-sebab tersebut dan bukannya menerbitkan bingkai rosak. Bingkai yang berwarna rata, atau segi empat hitam yang dikembalikan oleh sesetengah penapis keselamatan, ditolak sebelum model ditanya.
Ujian
Kami menggunakan model setempat yang sama yang menulis skrip kami, dihoskan oleh vLLM pada mesin kami sendiri, dan memberikannya empat gambar yang telah dihasilkan oleh model imej kami sebelum ini: secawan kopi di atas meja kayu, sebiji epal pada latar belakang putih, seorang individu bertelefon di hadapan rak buku, dan gambar kopi dengan tulisan "SALE 50% OFF" merentasinya.
- Tiga gambar bersih lulus, termasuk rak buku, yang tulang belakang bukunya kami jangkakan akan mencetuskan penggera palsu.
- Gambar dengan slogan ditolak, dengan sebab "teks bertulis".
- Dalam gelung penuh, bingkai slogan datang dahulu, ditolak, dan lukisan semula lulus: dua lukisan untuk adegan itu.
Setiap pemeriksaan mengambil masa 3 hingga 14 saat, pada model yang sedang sibuk dengan kerja lain pada masa itu.
Apa yang tidak dilakukannya
Model penglihatan ialah sepasang mata kedua, bukan jaminan. Ia boleh terlepas artifak kecil, dan arahan ketat kadang-kadang akan menolak gambar yang anda mungkin kekalkan, yang menelan kos lukisan semula dan bukannya video buruk. Empat gambar ialah pemeriksaan pendawaian, bukan statistik. Perhatikan video pertama anda sendiri, dan ketatkan atau longgarkan had lukisan semula berdasarkan apa yang anda lihat.
Studio menjalankan pemeriksaan ini dengan sebarang model yang pelayan anda dedahkan dengan input imej; biarkan tetapan penglihatan kosong dan pemeriksaan dimatikan.