Модель комп’ютерного зору як перевіряльник кадрів: що вона спіймала і що пропустила
Відео
Зображувальні моделі домальовують вигадані слова на табличках, додають водяні знаки та надмірно довгі пальці людям. Поганий кадр, знайдений після рендерингу, коштує повторного рендерингу; знайдений до — одного перерисовування. Тому кожне зображення, яке малює Studio, спершу показують моделі комп’ютерного зору.
Як працює перевірка
Кожен кадр масштабують до JPEG розміром не більше 1024 пікселів по довшій стороні та надсилають з однією інструкцією: відповідати лише у форматі JSON, ok true або false плюс список проблем, і вказувати false для будь-якого тексту, літер, цифр, водяного знаку чи логотипа, а також для деформованих рук, облич чи тіл або зламаних зображень. Відхилений кадр перерисовують з новим seed, до встановленого вами ліміту. Якщо жоден варіант не пройшов, завдання зупиняється з причинами, замість публікувати зіпсований кадр. Кадр однотонного кольору або чорний квадрат, який іноді повертають фільтри безпеки, відхиляють ще до запиту до моделі.
Тест
Ми використали ту саму локальну модель, що пише наші скрипти, запущену через vLLM на нашій машині, та дали їй чотири зображення, які раніше створила наша модель зображень: чашка кави на дерев’яному столі, яблуко на білому тлі, людина з телефоном на тлі книжкової полиці та зображення кави з написом «SALE 50% OFF».
- Три чисті зображення пройшли перевірку, включно з полицею, де, як ми очікували, корінці книг мали спрацювати на хибну тривогу.
- Зображення зі слоганом відхилили з причиною «написаний текст».
- У повному циклі кадр зі слоганом був першим, його відхилили, а перерисовка пройшла: два зображення для цієї сцени.
Кожна перевірка тривала від 3 до 14 секунд на моделі, яка в той час була зайнята іншими завданнями.
Чого вона не робить
Модель комп’ютерного зору — це другі очі, а не гарантія. Вона може пропустити дрібний артефакт, а суворі інструкції іноді відхиляють зображення, яке ви б залишили, що коштує перерисовки, а не поганого відео. Чотири зображення — це перевірка зв’язки, а не статистика. Самі перегляньте перші відео та коригуйте ліміт перерисовок залежно від того, що бачите.
Studio виконує цю перевірку з будь-якою моделлю, яку ваш сервер надає з підтримкою зображень на вході; залиште налаштування комп’ютерного зору порожнім, і перевірка вимкнеться.