Vidni model kot preverjalec sličic: kaj je ujel in kaj spustil skozi
Video
Slikovni modeli napišejo lažne besede na table, dodajo vodne žige in ljudem narišejo preveč prstov. Slaba sličica, najdena po upodobljevanju, stane ponovno upodobljevanje; če jo najdemo prej, stane en ponovni izris. Zato je vsaka slika, ki jo Studio nariše, najprej prikazana vidnemu modelu.
Kako deluje preverjanje
Vsaka sličica je pomanjšana na JPEG z največ 1.024 slikovnimi pikami na daljši stranici in poslana z enim navodilom: odgovori samo z JSON, ok res ali napačno ter seznamom težav, ter navedi napačno za vsako napisano besedilo, črke, številke, vodni žig ali logotip, ali za deformirane roke, obraze ali telesa, ali pokvarjeno sliko. Zavrnjena sličica se nariše znova z novim semenom, do omejitve, ki jo določite. Če noben izris ne uspe, se opravilo ustavi z razlogi in ne objavi pokvarjene sličice. Sličica, ki je enobarvna, ali črni kvadrat, ki ga vrnejo nekateri varnostni filtri, je zavrnjena, še preden model sploh vprašamo.
Preizkus
Uporabili smo isti lokalni model, ki piše naše skripte, strežen z vLLM na našem lastnem računalniku, in mu dali štiri slike, ki jih je naš slikovni model naredil prej: skodelica kave na lesenem mizi, jabolko na beli podlagi, oseba na telefonu pred knjižno polico in slika kave z napisom "SALE 50% OFF" čez njo.
- Tri čiste slike so prestale, vključno s knjižno polico, za katero smo pričakovali, da bo sprožila lažni alarm.
- Slika z sloganom je bila zavrnjena z razlogom "napisano besedilo".
- V celotni zanki je bila sličica s sloganom prva, bila je zavrnjena, ponovni izris pa je uspel: dva izrisa za to sceno.
Vsako preverjanje je trajalo od 3 do 14 sekund na modelu, ki je bil takrat zaposlen z drugim delom.
Kaj ne počne
Vidni model je drugi par oči, ne jamstvo. Lahko spregleda majhen artefakt, strogo navodilo pa bo včasih zavrnilo sliko, ki bi jo obdržali, kar stane ponovni izris in ne slab video. Štiri slike so preizkus povezave, ne statistika. Prve videe si oglejte sami in prilagodite omejitev ponovnih izrisov glede na to, kar vidite.
Studio izvaja to preverjanje z vsemi modeli, ki jih vaš strežnik ponuja z vnosom slik; če pustite nastavitev za vid prazno, je preverjanje izklopljeno.