Модель компьютерного зрения как проверка кадров: что она поймала и что пропустила
Видео
Модели генерации изображений пишут выдуманные слова на табличках, добавляют водяные знаки и рисуют людям слишком много пальцев. Плохой кадр, обнаруженный после рендера, стоит повторного рендера; обнаруженный до — одного перерисовывания. Поэтому каждый кадр, который рисует Studio, сначала показывается модели компьютерного зрения.
Как работает проверка
Каждый кадр масштабируется до JPEG размером не более 1024 пикселей по длинной стороне и отправляется с одной инструкцией: отвечать только в формате JSON, ok true или false плюс список проблем, и указывать false для любого написанного текста, букв, цифр, водяного знака или логотипа, а также для деформированных рук, лиц или тел, или поврежденного изображения. Отклоненный кадр перерисовывается с новым seed, до установленного вами предела. Если ни один вариант не проходит, задача останавливается с указанием причин, вместо того чтобы опубликовать бракованный кадр. Кадр, который представляет собой сплошной цвет, или черный квадрат, который возвращают некоторые фильтры безопасности, отклоняется еще до того, как вопрос будет задан модели.
Тест
Мы использовали ту же локальную модель, которая пишет наши сценарии, запущенную через vLLM на нашей собственной машине, и дали ей четыре изображения, которые наша модель генерации изображений сделала ранее: чашка кофе на деревянном столе, яблоко на белом фоне, человек с телефоном на фоне книжной полки и изображение кофе с надписью "SALE 50% OFF" поверх него.
- Три чистых изображения прошли проверку, включая книжную полку, корешки книг на которой, как мы ожидали, должны были вызвать ложную тревогу.
- Изображение со слоганом было отклонено с причиной "написанный текст".
- В полном цикле кадр со слоганом пришел первым, был отклонен, а перерисовка прошла успешно: два прохода для этой сцены.
Каждая проверка заняла от 3 до 14 секунд на модели, которая в это время была занята другими задачами.
Чего она не делает
Модель компьютерного зрения — это вторые глаза, а не гарантия. Она может пропустить мелкий артефакт, а строгая инструкция иногда отклоняет изображение, которое вы бы оставили, что стоит перерисовки, а не плохого видео. Четыре изображения — это проверка работоспособности, а не статистика. Просмотрите свои первые видео сами и скорректируйте лимит перерисовок, исходя из увиденного.
Studio выполняет эту проверку с любой моделью, которую ваш сервер предоставляет с поддержкой ввода изображений; оставьте настройку vision пустой, и проверка будет отключена.