Un model de viziune ca verificator de cadre: ce a detectat și ce a lăsat să treacă
Video
Modelele de imagine scriu cuvinte false pe pancarte, adaugă filigrane și dau oamenilor prea multe degete. Un cadru defect găsit după randare costă o re-randare; găsit înainte, costă o redesenare. De aceea, fiecare imagine desenată de Studio este prezentată mai întâi unui model de viziune.
Cum funcționează verificarea
Fiecare cadru este redimensionat la un JPEG de cel mult 1.024 de pixeli pe latura cea mai lungă și trimis cu o singură instrucțiune: răspunde doar cu JSON, ok true sau false plus o listă de probleme, și spune false pentru orice text scris, litere, numere, filigran sau logo, sau pentru mâini, fețe sau corpuri deformate, ori o imagine stricată. Un cadru respins este desenat din nou cu o sămânță nouă, până la o limită pe care o stabilești. Dacă nicio desenare trece, jobul se oprește cu motivele, în loc să publice un cadru defect. Un cadru care este o culoare plată, sau pătratul negru pe care îl returnează unele filtre de siguranță, este respins înainte ca modelul să fie întrebat.
Testul
Am folosit același model local care scrie scripturile noastre, servit de vLLM pe propria noastră mașină, și i-am dat patru imagini pe care modelul nostru de imagine le făcuse anterior: o cană de cafea pe o masă de lemn, un măr pe fundal alb, o persoană la telefon în fața unei biblioteci și imaginea cu cafeaua cu „SALE 50% OFF” scris peste ea.
- Cele trei imagini curate au trecut, inclusiv cea cu biblioteca, ale cărei coperți de cărți ne așteptam să declanșeze o alarmă falsă.
- Imaginea cu sloganul a fost respinsă, cu motivul „text scris”.
- În bucla completă, cadrul cu sloganul a venit primul, a fost respins, iar redesenarea a trecut: două desenări pentru acea scenă.
Fiecare verificare a durat între 3 și 14 secunde, pe un model care era ocupat cu alte sarcini în acel moment.
Ce nu face
Un model de viziune este o a doua pereche de ochi, nu o garanție. Poate rata un artefact mic, iar o instrucțiune strictă va respinge uneori o imagine pe care ai fi păstrat-o, ceea ce costă o redesenare în loc de un video defect. Patru imagini sunt o verificare a cablajului, nu o statistică. Urmărește-ți singur primele videoclipuri și strânge sau relaxează limita de redesenare în funcție de ce vezi.
Studio rulează această verificare cu orice model pe care serverul tău îl expune cu intrare de imagine; lasă setarea de viziune goală și verificarea este oprită.