Модел за компјутерски вид како проверувач на кадри: што фати, а што пропушти
Видео
Моделите за слики пишуваат лажни зборови на таблите, додаваат водени жигови и им даваат на луѓето премногу прсти. Лош кадар најден после рендерирањето чини повторно рендерирање; најден пред тоа, чини едно прецртување. Затоа, секоја слика што ја црта Studio прво ѝ се покажува на модел за компјутерски вид.
Како работи проверката
Секој кадар се намалува до JPEG со најмногу 1.024 пиксели по долгата страна и се испраќа со едно упатство: одговори само со JSON, ok точно или неточно плус листа со проблеми, и кажи неточно за секој напишан текст, букви, бројки, воден жиг или лого, или за деформирани раце, лица или тела, или скршена слика. Отфрлениот кадар се црта повторно со нов seed, до ограничување што го поставувате. Ако ниедно цртање не помине, задачата запира со причините, наместо да објави скршен кадар. Кадар што е една боја, или црниот квадрат што го враќаат некои безбедносни филтри, се отфрла уште пред да се праша моделот.
Тестот
Го користевме истиот локален модел што ги пишува нашите скрипти, опслужуван од vLLM на наша сопствена машина, и му дадовме четири слики што нашиот модел за слики ги бил направил претходно: шолја кафе на дрвена маса, јаболко на бела позадина, човек на телефон пред полица со книги и сликата со кафе со напишано „SALE 50% OFF“ преку неа.
- Трите чисти слики поминаа, вклучувајќи ја и полицата со книги, за која очекувавме грбот на книгите да предизвика лажна аларма.
- Сликата со слоганот беше отфрлена, со причината „напишан текст“.
- Во целосниот циклус, кадарот со слоганот дојде прв, беше отфрлен, а прецртувањето помина: две цртања за таа сцена.
Секоја проверка траеше 3 до 14 секунди, на модел кој тогаш беше зафатен со друга работа.
Што не прави
Моделот за компјутерски вид е втор пар очи, не гаранција. Може да пропушти мал артефакт, а строгото упатство понекогаш ќе отфрли слика што би ја задржале, што чини прецртување наместо лошо видео. Четири слики се проверка на поврзувањето, не статистика. Првите видеа гледајте ги сами, и стегнете или опуштете го ограничувањето за прецртување според она што го гледате.
Studio ја врши оваа проверка со секој модел што вашиот сервер го нуди со внес на слики; оставете го подесувањето за компјутерски вид празно и проверката е исклучена.