Een vision-model als framecontrole: wat het ving en wat het doorliet
Video
Beeldmodellen schrijven nepwoorden op borden, voegen watermerken toe en geven mensen te veel vingers. Een slechte frame die na de render wordt gevonden, kost een nieuwe render; gevonden voordat, kost het één herschetsing. Daarom wordt elk beeld dat Studio tekent eerst aan een vision-model getoond.
Zo werkt de controle
Elke frame wordt verkleind tot een JPEG van maximaal 1.024 pixels aan de lange zijde en verzonden met één instructie: antwoord alleen met JSON, ok true of false plus een lijst met problemen, en zeg false bij elke geschreven tekst, letters, cijfers, watermerk of logo, of bij vervormde handen, gezichten of lichamen, of een gebroken afbeelding. Een afgekeurde frame wordt opnieuw getekend met een nieuwe seed, tot een limiet die je instelt. Als geen enkele tekening slaagt, stopt de taak met de redenen in plaats van een gebroken frame te publiceren. Een frame die een effen kleur is, of het zwarte vierkant dat sommige veiligheidsfilters teruggeven, wordt afgekeurd voordat het model zelfs maar wordt geraadpleegd.
De test
We gebruikten hetzelfde lokale model dat onze scripts schrijft, bediend door vLLM op onze eigen machine, en gaven het vier afbeeldingen die ons beeldmodel eerder had gemaakt: een kop koffie op een houten tafel, een appel op een witte achtergrond, een persoon die belt voor een boekenkast, en de koffiefoto met "SALE 50% OFF" eroverheen geschreven.
- De drie schone afbeeldingen slaagden, inclusief de boekenkast, waarvan we hadden verwacht dat de boekruggen een vals alarm zouden veroorzaken.
- De afbeelding met de slogan werd afgekeurd, met de reden "geschreven tekst".
- In de volledige lus kwam de slogan-frame eerst, werd afgekeurd, en de herschetsing slaagde: twee tekeningen voor die scène.
Elke controle duurde 3 tot 14 seconden, op een model dat op dat moment bezig was met ander werk.
Wat het niet doet
Een vision-model is een paar extra ogen, geen garantie. Het kan een klein artefact missen, en een strikte instructie zal soms een afbeelding afkeuren die je zou hebben behouden, wat een herschetsing kost in plaats van een slechte video. Vier afbeeldingen zijn een controle van de bedrading, geen statistiek. Bekijk je eerste video's zelf, en stel de limiet voor herschetsingen bij op basis van wat je ziet.
Studio voert deze controle uit met elk model dat je server beschikbaar stelt met image input; laat de vision-instelling leeg en de controle staat uit.