Ett synmodell som bildkontrollant: vad den fångade och vad den släppte igenom
Video
Bildmodeller skriver fejktext på skyltar, lägger till vattenstämplar och ger personer för många fingrar. En dålig bild som upptäcks efter rendering kostar en omrendering; upptäcks den innan kostar den bara en omritning. Därför visas varje bild Studio ritar upp för en synmodell först.
Så fungerar kontrollen
Varje bild skalas ner till en JPEG med högst 1 024 pixlar på den längsta sidan och skickas med en instruktion: svara endast med JSON, ok sant eller falskt plus en lista med problem, och ange falskt för all skriven text, bokstäver, siffror, vattenstämpel eller logotyp, eller för deformerade händer, ansikten eller kroppar, eller en trasig bild. En underkänd bild ritas om med en ny seed, upp till en gräns du sätter. Om ingen ritning godkänns stoppas jobbet med anledningarna istället för att publicera en trasig bild. En bild som är en enfärgad yta, eller den svarta fyrkant vissa säkerhetsfilter returnerar, underkänns innan modellen ens tillfrågas.
Testet
Vi använde samma lokala modell som skriver våra skript, serverad via vLLM på vår egen maskin, och gav den fyra bilder som vår bildmodell hade gjort tidigare: en kopp kaffe på ett bord av trä, ett äpple mot vit bakgrund, en person som pratar i telefon framför en bokhylla, och kaffebilden med texten "SALE 50% OFF" över sig.
- De tre rena bilderna godkändes, inklusive bokhyllan, vars bokryggar vi hade förväntat oss skulle utlösa ett falsklarm.
- Bilden med sloganen underkändes, med anledningen "skriven text".
- I den fullständiga loopen kom bildrutan med sloganen först, underkändes, och omritningen godkändes: två ritningar för den scenen.
Varje kontroll tog 3 till 14 sekunder, på en modell som var upptagen med annat arbete vid tillfället.
Vad den inte gör
En synmodell är ett par extra ögon, inte en garanti. Den kan missa en liten artefakt, och en strikt instruktion kan ibland underkänna en bild du hade behållit, vilket kostar en omritning istället för en dålig video. Fyra bilder är ett test av kopplingen, inte en statistik. Titta själv på dina första videor, och justera gränsen för omritning efter vad du ser.
Studio kör denna kontroll med vilken modell som din server exponerar med bildinmatning; lämna syninställningen tom så är kontrollen avstängd.