Vision model ako kontrolór snímok: čo zachytil a čo prepustil
Video
Obrazové modely píšu falošné slová na cedulách, pridávajú vodoznaky a dávajú ľuďom príliš veľa prstov. Zlá snímka nájdená po renderovaní stojí pre-renderovanie; nájdená pred ním stojí jedno prekreslenie. Preto je každý obrázok, ktorý nakreslí Studio, najprv predložený vision modelu.
Ako kontrola funguje
Každá snímka sa zmenší na JPEG s maximálne 1 024 pixelmi na dlhšej strane a pošle sa s jedným príkazom: odpovedzte iba vo formáte JSON, ok true alebo false plus zoznam problémov, a povedzte false pri akomkoľvek písanom texte, písmenách, čísliciach, vodoznaku alebo logu, alebo pri deformovaných rukách, tvárach či telách, alebo poškodenej snímke. Odmietnutá snímka sa nakreslí znova s novým seedom, a to do limitu, ktorý si nastavíte. Ak neprejde žiadne kreslenie, úloha sa zastaví s dôvodmi namiesto toho, aby zverejnila poškodenú snímku. Snímka, ktorá je jednofarebná, alebo čierny štvorec, ktorý vracajú niektoré bezpečnostné filtre, sa odmietne skôr, než sa vôbec opýta model.
Test
Použili sme rovnaký lokálny model, ktorý píše naše skripty, obsluhovaný cez vLLM na našom vlastnom počítači, a dali sme mu štyri obrázky, ktoré náš obrazový model vytvoril skôr: šálku kávy na drevenom stole, jablko na bielom pozadí, osobu telefonujúcu pred knižnicou a obrázok kávy s nápisom "SALE 50% OFF" naprieč.
- Tri čisté obrázky prešli, vrátane toho s knižnicou, pri ktorom sme očakávali falošný poplach kvôli chrbtom kníh.
- Obrázok s sloganom bol odmietnutý s dôvodom "written text".
- V plnom cykle prišla snímka so sloganom ako prvá, bola odmietnutá a prekreslenie prešlo: dve kreslenia pre túto scénu.
Každá kontrola trvala 3 až 14 sekúnd na modeli, ktorý bol v tom čase zaneprázdnený inou prácou.
Čo nerobí
Vision model je druhý pár očí, nie záruka. Môže prehliadnuť malý artefakt a prísny príkaz niekedy odmietne obrázok, ktorý by ste si nechali, čo stojí prekreslenie namiesto zlého videa. Štyri obrázky sú kontrolou zapojenia, nie štatistikou. Prvé videá si pozrite sami a podľa toho, čo uvidíte, sprísnite alebo uvoľnite limit prekreslení.
Studio túto kontrolu vykonáva s akýmkoľvek modelom, ktorý váš server ponúka s vstupom obrázkov; ak ponecháte nastavenie vision prázdne, kontrola je vypnutá.