Vizuelni model kao provera kadrova: šta je uhvatio, a šta propustio
Video
Slikovni modeli ispisuju lažne reči na tablama, dodaju vodene žigove i daju ljudima previše prstiju. Loš kadar pronađen nakon renderovanja košta ponovno renderovanje; pronađen pre toga, košta samo jedno ponovno iscrtavanje. Zato se svaka slika koju Studio iscrtava prvo prikazuje vizuelnom modelu.
Kako provera funkcioniše
Svaki kadar se smanjuje na JPEG čija je duža stranica najviše 1.024 piksela i šalje se sa jednim uputstvom: odgovori samo u JSON formatu, ok tačno ili netačno plus lista problema, i navedi netačno za svaki ispisani tekst, slova, brojeve, vodeni žig ili logo, ili za deformisane ruke, lica ili tela, ili pokvarenu sliku. Odbačeni kadar se ponovo iscrtava sa novim seed-om, do limita koji ste postavili. Ako nijedno iscrtavanje ne prođe, posao se zaustavlja uz navođenje razloga, umesto da objavi pokvaren kadar. Kadar koji je jednobojan, ili crni kvadrat koji vraćaju neki bezbednosni filteri, odbacuje se pre nego što se uopšte pita model.
Test
Koristili smo isti lokalni model koji piše naše skripte, pokretan putem vLLM na našoj mašini, i dali smo mu četiri slike koje je naš slikovni model ranije napravio: šolja kafe na drvenom stolu, jabuka na beloj pozadini, osoba koja priča telefonom ispred police sa knjigama i slika kafe sa natpisom "SALE 50% OFF" preko nje.
- Tri čiste slike su prošle, uključujući i onu sa policom sa knjigama, za koju smo očekivali da izazove lažnu uzbunu zbog naslova na koricama.
- Slika sa sloganom je odbijena, uz razlog "ispisani tekst".
- U punom ciklusu, kadar sa sloganom je došao prvi, odbijen je, a ponovno iscrtavanje je prošlo: dva iscrtavanja za tu scenu.
Svaka provera je trajala od 3 do 14 sekundi, na modelu koji je u to vreme bio zauzet drugim poslovima.
Šta ne radi
Vizuelni model je drugi par očiju, a ne garancija. Može propustiti mali artefakt, a strogo uputstvo ponekad odbija sliku koju biste vi zadržali, što košta ponovno iscrtavanje umesto lošeg videa. Četiri slike su provera povezivanja, a ne statistika. Prve videe sami pogledajte, i pooštrite ili popustite limit za ponovno iscrtavanje u skladu sa onim što vidite.
Studio pokreće ovu proveru sa bilo kojim modelom koji vaš server izlaže sa unosom slike; ostavite podešavanje za vizuelni model prazno i provera je isključena.