Vizuální model jako kontrola snímků: co zachytil a co propustil
Video
Obrazové modely píší na cedule falešná slova, přidávají vodoznaky a kreslí lidem příliš mnoho prstů. Špatný snímek odhalený po renderu stojí přerenderování; odhalený před ním stojí jedno překreslení. Každý obrázek, který Studio vykreslí, je proto nejprve předložen vizuálnímu modelu.
Jak kontrola funguje
Každý snímek je zmenšen na JPEG s maximálně 1 024 pixely na delší straně a odeslán s jedním pokynem: odpovídej pouze ve formátu JSON, ok true nebo false a seznam problémů, a vrať false pro jakýkoli psaný text, písmena, čísla, vodoznak nebo logo, pro deformované ruce, obličeje či těla nebo pro poškozený obrázek. Zamítnutý snímek je vykreslen znovu s novým seedem, a to do limitu, který si nastavíte. Pokud žádný pokus neprojde, úloha se zastaví s uvedením důvodů, místo aby byl publikován poškozený snímek. Snímek, který je jednobarevný, nebo černý čtverec, který vrací některé bezpečnostní filtry, je zamítnut ještě předtím, než se model na něco zeptá.
Test
Použili jsme stejný lokální model, který píše naše skripty, obsluhovaný přes vLLM na našem vlastním stroji, a dali jsme mu čtyři obrázky, které náš obrazový model vytvořil dříve: šálek kávy na dřevěném stole, jablko na bílém pozadí, osoba telefonující před policí s knihami a obrázek kávy s nápisem „SALE 50% OFF“ přes něj.
- Tři čisté obrázky prošly, včetně police s knihami, u které jsme očekávali falešný poplach kvůli hřbetům knih.
- Obrázek s sloganem byl zamítnut s důvodem „psaný text“.
- V plném cyklu byl snímek se sloganem první, byl zamítnut a překreslení prošlo: dva pokusy pro tuto scénu.
Každá kontrola trvala 3 až 14 sekund na modelu, který byl v té době zaneprázdněn jinou prací.
Co nedělá
Vizuální model je druhý pár očí, ne záruka. Může přehlédnout drobný artefakt a přísný pokyn někdy zamítne obrázek, který byste si nechali, což stojí překreslení místo špatného videa. Čtyři obrázky jsou kontrolou zapojení, ne statistikou. První videa si prohlédněte sami a limit překreslení podle toho zpřísněte nebo povolte.
Studio tuto kontrolu spouští s jakýmkoli modelem, který váš server nabízí s vstupem obrázků; ponecháte-li nastavení vizuálního modelu prázdné, kontrola je vypnutá.