Տեսողական մոդել՝ որպես կադրերի ստուգիչ. ինչ է բռնել և ինչ է բաց թողել
Տեսանյութ
Պատկերների մոդելները ցուցանակների վրա կեղծ բառեր են գրում, ջրանիշներ են ավելացնում և մարդկանց չափից շատ մատներ են տալիս: Ռենդերից հետո հայտնաբերված վատ կադրը արժե վերառենդեր, իսկ նախօրոք հայտնաբերվածը՝ մեկ վերագծում: Ուստի Studio-ի գծած յուրաքանչյուր պատկեր նախ ցուցադրվում է տեսողական մոդելին:
Ինչպես է աշխատում ստուգումը
Յուրաքանչյուր կադր փոքրացվում է մինչև 1,024 պիքսել երկար կողմով JPEG-ի և ուղարկվում մեկ հրահանգով. պատասխանել միայն JSON-ով, ok՝ true կամ false, խնդիրների ցանկով, և ասել false ցանկացած գրված տեքստի, տառերի, թվերի, ջրանիշի կամ լոգոյի, կամ ձեռքերի, դեմքերի, մարմինների աղավաղման, կամ կոտրված պատկերի դեպքում: Մերժված կադրը նոր սերմով վերագծվում է՝ մինչև ձեր սահմանած սահմանափակումը: Եթե ոչ մի գծում չի անցնում, աշխատանքը կանգ է առնում պատճառներով՝ փոխանակ կոտրված կադր հրապարակելու: Հարթ գույնի կամ որոշ անվտանգության ֆիլտրերի վերադարձրած սև քառակուսի կադրը մերժվում է նույնիսկ մոդելին հարցնելուց առաջ:
Թեստը
Մենք օգտագործեցինք նույն տեղական մոդելը, որը գրում է մեր սցենարները, սպասարկված vLLM-ով մեր սեփական մեքենայում, և տվեցինք նրան չորս պատկեր, որոնք մեր պատկերների մոդելը նախկինում ստեղծել էր. սուրճի բաժակ՝ փայտե սեղանի վրա, խնձոր՝ սպիտակ ֆոնի վրա, հեռախոսով խոսող մարդ՝ գրքերի պահարանի առջև, և սուրճի պատկերը՝ «SALE 50% OFF» գրությամբ:
- Երեք մաքուր պատկերներն անցան, ներառյալ գրքերի պահարանը, որի գրքերի թիկունքներից սպասում էինք սխալ ահազանգի:
- Գրությամբ պատկերը մերժվեց՝ «գրված տեքստ» պատճառաբանությամբ:
- Ամբողջական ցիկլում գրությամբ կադրը եկավ առաջինը, մերժվեց, և վերագծումն անցավ. այդ տեսարանի համար երկու գծում:
Յուրաքանչյուր ստուգում տևեց 3-ից 14 վայրկյան՝ մոդելի վրա, որն այդ ժամանակ զբաղված էր այլ աշխատանքներով:
Ինչ չի անում
Տեսողական մոդելը երկրորդ զույգ աչքեր են, ոչ թե երաշխիք: Այն կարող է բաց թողնել փոքրիկ արտեֆակտ, և խիստ հրահանգը երբեմն կմերժի պատկեր, որը դուք կպահեիք, ինչը արժե վերագծում, ոչ թե վատ տեսանյութ: Չորս պատկերը միացումների ստուգում է, ոչ թե վիճակագրություն: Առաջին տեսանյութերը ինքներդ դիտեք, և սեղմեք կամ թուլացրեք վերագծման սահմանափակումը՝ ըստ տեսածի:
Studio-ն կատարում է այս ստուգումը ձեր սերվերի կողմից պատկերային մուտքով մատչելի ցանկացած մոդելով. թողեք տեսողական կարգավորումը դատարկ, և ստուգումը կանջատվի: