Et synsmodell som rammekontroll: hva den fanget og hva den slapp gjennom
Video
Bildemodeller skriver falske ord på skilt, legger til vannmerker og gir folk for mange fingre. Et dårlig bilde som oppdages etter rendering koster en ny rendering; oppdages det før, koster det én ny tegning. Derfor vises hvert bilde Studio tegner, først til en synsmodell.
Slik fungerer kontrollen
Hvert bilde skaleres ned til en JPEG på maksimalt 1 024 piksler på den lengste siden og sendes med én instruksjon: svar kun med JSON, ok true eller false pluss en liste over problemer, og si false for all skrevet tekst, bokstaver, tall, vannmerker eller logoer, eller for deformerte hender, ansikter eller kropper, eller et ødelagt bilde. Et avvist bilde tegnes på nytt med et nytt seed, opp til en grense du setter. Hvis ingen tegning godkjennes, stopper jobben med årsakene i stedet for å publisere et ødelagt bilde. Et bilde som er en ensfarget flate, eller det svarte feltet noen sikkerhetsfiltre returnerer, avvises før modellen i det hele tatt blir spurt.
Testen
Vi brukte den samme lokale modellen som skriver manusene våre, servert av vLLM på vår egen maskin, og ga den fire bilder som bildemodellen vår hadde laget tidligere: en kopp kaffe på et bord av tre, et eple på hvit bakgrunn, en person i telefon foran en bokhylle, og kaffebildet med "SALE 50% OFF" skrevet over.
- De tre rene bildene bestod, inkludert bokhyllen, hvis bokrygger vi hadde forventet ville utløse en falsk alarm.
- Bildet med slagordet ble avvist, med årsaken "skrevet tekst".
- I den fulle løkken kom slagord-rammen først, ble avvist, og nytegningen bestod: to tegninger for den scenen.
Hver kontroll tok 3 til 14 sekunder, på en modell som var opptatt med annet arbeid på det tidspunktet.
Hva den ikke gjør
En synsmodell er et ekstra sett med øyne, ikke en garanti. Den kan overse en liten feil, og en streng instruksjon vil noen ganger avvise et bilde du ville ha beholdt, noe som koster en ny tegning i stedet for en dårlig video. Fire bilder er en sjekk av oppsettet, ikke en statistikk. Se på de første videoene dine selv, og stram inn eller løsne på grensen for nytegninger basert på hva du ser.
Studio kjører denne kontrollen med enhver modell serveren din eksponerer med bildeinndata; la synsinnstillingen stå tom, så er kontrollen av.