Модел за компютърно зрение като проверка на кадрите: какво улови и какво пропусна
Видео
Моделите за изображения изписват фалшиви думи на табели, добавят водни знаци и дават на хората прекалено много пръсти. Лош кадър, открит след рендирането, струва ново рендиране; открит преди него, струва едно преизчертаване. Затова всяка картина, която Studio изчертава, първо се показва на модел за компютърно зрение.
Как работи проверката
Всеки кадър се мащабира до JPEG с максимална дължина на дългата страна 1024 пиксела и се изпраща с една инструкция: отговаряй само с JSON, ok true или false, плюс списък с проблемите, и казвай false при всякакъв изписан текст, букви, цифри, воден знак или лого, или при деформирани ръце, лица или тела, или счупено изображение. Отхвърленият кадър се изчертава отново с нов seed, до зададен от вас лимит. Ако нито едно изчертаване не мине, задачата спира с причините, вместо да публикува счупен кадър. Кадър, който е едноцветен, или черният квадрат, който някои защитни филтри връщат, се отхвърля, преди изобщо да се попита моделът.
Тестът
Използвахме същия локален модел, който пише нашите скриптове, обслужван от vLLM на нашата собствена машина, и му дадохме четири снимки, които нашият модел за изображения беше направил по-рано: чаша кафе на дървена маса, ябълка на бял фон, човек на телефона пред библиотеката и снимката на кафето с надпис „SALE 50% OFF“ върху нея.
- Трите чисти снимки минаха, включително тази с библиотеката, чиито гръбове на книгите очаквахме да предизвикат фалшива тревога.
- Снимката със слогана беше отхвърлена с причината „изписан текст“.
- В пълния цикъл кадърът със слогана дойде първи, беше отхвърлен, а преизчертаването мина: две изчертавания за тази сцена.
Всяка проверка отне 3 до 14 секунди, на модел, който по това време беше зает с друга работа.
Какво не прави
Моделът за компютърно зрение е втори поглед, а не гаранция. Може да пропусне малък артефакт, а строгата инструкция понякога отхвърля снимка, която бихте запазили, което струва преизчертаване, а не лошо видео. Четири снимки са проверка на свързаността, а не статистика. Гледайте сами първите си видеоклипове и затягайте или отпускайте лимита за преизчертаване според това, което виждате.
Studio изпълнява тази проверка с всеки модел, който вашият сървър предоставя с вход за изображения; оставете настройката за зрение празна и проверката е изключена.