Näkömalli kuvan tarkistajana: mitä se havaitsi ja mitä se päästi läpi
Video
Kuvamallit kirjoittavat kyltteihin vääriä sanoja, lisäävät vesileimoja ja antavat ihmisille liian monta sormea. Huono kuva, joka havaitaan renderöinnin jälkeen, maksaa uudelleenrenderöinnin; havaittu ennen sitä se maksaa yhden uudelleenviirron. Siksi jokainen Studio-piirtämä kuva näytetään ensin näkömallille.
Miten tarkistus toimii
Jokainen kuva skaalataan JPEG-kuvaksi, jonka pitkän sivun enimmäiskoko on 1 024 pikseliä, ja se lähetetään yhden ohjeen kanssa: vastaa vain JSON-muodossa, ok true tai false sekä lista ongelmista, ja ilmoita false kaikessa kirjoitetussa tekstissä, kirjaimissa, numeroissa, vesileimassa tai logossa, tai vääristyneissä käsissä, kasvoissa tai vartaloissa, tai rikkonaisessa kuvassa. Hylätty kuva piirretään uudelleen uuden seed-arvon kanssa, enintään asettamasi rajan verran. Jos yksikään piirros ei läpäise tarkistusta, työ keskeytetään syineen sen sijaan, että rikkonainen kuva julkaistaisiin. Tasavärinen kuva tai musta neliö, jonka jotkin turvasuodattimet palauttavat, hylätään jo ennen kuin mallilta kysytään.
Testi
Käytimme samaa paikallista mallia, joka kirjoittaa skriptimme, ja joka on palvelussa vLLM:llä omalla koneellamme, ja annoimme sille neljä kuvaa, jotka kuvamallimme oli tehnyt aiemmin: kupillinen kahvia puupöydällä, omena valkoisella taustalla, puhelimessa oleva henkilö kirjahyllyn edessä sekä kahvikuva, jossa lukee "SALE 50% OFF".
- Kolme puhdasta kuvaa läpäisi tarkistuksen, mukaan lukien kirjahyllykuva, jonka kirjaselkien odotimme aiheuttavan virheellisen hälytyksen.
- Sloganilla varustettu kuva hylättiin syynä "kirjoitettu teksti".
- Koko silmukassa slogan-kuva tuli ensin, se hylättiin ja uudelleenveto läpäisi tarkistuksen: kaksi vetoa kyseiseen kohtaukseen.
Jokainen tarkistus kesti 3–14 sekuntia mallilla, joka oli silloin varattu muuhun työhön.
Mitä se ei tee
Näkömalli on toinen pari silmiä, ei takuu. Se voi jättää huomaamatta pienen artefaktin, ja tiukka ohje hylkää joskus kuvan, jonka olisit säilyttänyt, mikä maksaa uudelleenvedon huonon videon sijaan. Neljä kuvaa on kytkennän tarkistus, ei tilastotiede. Tarkista ensimmäiset videosi itse ja kiristä tai löysennä uudelleenvetorajaa havaintojesi perusteella.
Studio suorittaa tämän tarkistuksen millä tahansa mallilla, jonka palvelimesi tarjoaa kuvasyötteellä; jätä näköasetus tyhjäksi, niin tarkistus on pois päältä.