Isang vision model bilang taga-check ng frame: ang nahuli nito at ang pinagdaanan nito
Video
Ang mga image model ay nagsusulat ng pekeng mga salita sa mga karatula, nagdadagdag ng watermark, at nagbibigay sa mga tao ng masyadong maraming daliri. Ang isang masamang frame na nahuli pagkatapos ng render ay nagkakahalaga ng isang re-render; kung nahuli bago ito, ang halaga nito ay isang redraw. Kaya ang bawat larawang ginuguhit ng Studio ay ipinapakita muna sa isang vision model.
Paano gumagana ang check
Ang bawat frame ay binabawasan ng laki hanggang sa isang JPEG na may pinakamataas na 1,024 pixels sa mahabang gilid nito at ipinapadala kasama ang isang utos: sagutin lamit sa JSON, ok true o false kasama ang listahan ng mga problema, at sabihing false para sa anumang nakasulat na teksto, mga letra, mga numero, watermark o logo, o para sa mga deformed na kamay, mukha o katawan, o isang sirang imahe. Ang isang tinanggihan na frame ay muling ginuguhit gamit ang bagong seed, hanggang sa limitasyong itinakda mo. Kung walang guhit na pumasa, ang trabaho ay humihinto kasama ang mga dahilan sa halip na mag-publish ng sirang frame. Ang isang frame na isang flat colour, o ang itim na parisukat na ibinabalik ng ilang safety filter, ay tinatanggi bago pa man tanungin ang model.
Ang test
Ginamit namin ang parehong local model na sumusulat ng aming mga script, na pinapatakbo ng vLLM sa aming sariling makina, at binigyan namin ito ng apat na larawang ginawa ng aming image model noong nakaraan: isang tasang kape sa isang kahoy na lamesa, isang mansanas sa puting background, isang taong nasa telepono sa harap ng bookshelf, at ang larawan ng kape na may nakasulat na "SALE 50% OFF" sa ibabaw nito.
- Ang tatlong malinis na larawan ay pumasa, kabilang ang bookshelf, na inaasahan naming magdudulot ng maling alarma dahil sa mga spine ng libro.
- Ang larawan na may slogan ay tinanggihan, na may dahilan na "written text".
- Sa buong loop, ang frame na may slogan ang unang dumating, tinanggihan, at ang redraw ay pumasa: dalawang guhit para sa eksena na iyon.
Ang bawat check ay tumagal ng 3 hanggang 14 segundo, sa isang model na abala sa ibang trabaho noong panahong iyon.
Ang hindi nito ginagawa
Ang isang vision model ay pangalawang pares ng mga mata, hindi isang garantiya. Maaari nitong hindi mapansin ang isang maliit na artefact, at ang isang mahigpit na utos ay minsan ay tumatanggi ng larawang ipagpapatuloy mo sana, na nagkakahalaga ng isang redraw sa halip na isang masamang video. Ang apat na larawan ay isang check ng wiring, hindi isang estadistika. Subaybayan ang iyong unang mga video mismo, at higpitan o luwagan ang limitasyon ng redraw batay sa makikita mo.
Studio ay pinapatakbo ang check na ito gamit ang anumang model na inilalabas ng iyong server na may image input; iwanang blangko ang vision setting at patayin ang check.