Un modèle de vision comme vérificateur d'images : ce qu'il a détecté et ce qu'il a laissé passer
Vidéo
Les modèles d'images écrivent de faux mots sur les panneaux, ajoutent des filigranes et donnent aux personnes trop de doigts. Une image incorrecte détectée après le rendu coûte un nouveau rendu ; détectée avant, elle coûte une seule nouvelle génération. Chaque image que Studio dessine est donc d'abord présentée à un modèle de vision.
Fonctionnement du contrôle
Chaque image est réduite à un JPEG d'au plus 1 024 pixels sur son plus grand côté et envoyée avec une seule instruction : répondre uniquement en JSON, ok vrai ou faux ainsi qu'une liste de problèmes, et indiquer faux pour tout texte écrit, lettres, chiffres, filigrane ou logo, ou pour des mains, visages ou corps déformés, ou une image cassée. Une image rejetée est redessinée avec une nouvelle graine, jusqu'à une limite que vous définissez. Si aucune génération ne passe, la tâche s'arrête avec les raisons plutôt que de publier une image cassée. Une image d'une couleur unie, ou le carré noir renvoyé par certains filtres de sécurité, est rejetée avant même que le modèle soit interrogé.
Le test
Nous avons utilisé le même modèle local qui écrit nos scripts, servi par vLLM sur notre propre machine, et lui avons soumis quatre images que notre modèle d'images avait générées précédemment : une tasse de café sur une table en bois, une pomme sur fond blanc, une personne au téléphone devant une bibliothèque, et l'image du café avec « SALE 50% OFF » écrit dessus.
- Les trois images propres ont été validées, y compris celle de la bibliothèque, dont les tranches de livres devaient selon nous déclencher une fausse alerte.
- L'image avec le slogan a été rejetée, avec la raison « texte écrit ».
- Dans la boucle complète, l'image avec le slogan est arrivée en premier, a été rejetée, et la nouvelle génération a été validée : deux générations pour cette scène.
Chaque contrôle a pris de 3 à 14 secondes, sur un modèle qui était occupé par d'autres tâches à ce moment-là.
Ce qu'il ne fait pas
Un modèle de vision est un second regard, pas une garantie. Il peut manquer un petit artefact, et une instruction stricte rejettera parfois une image que vous auriez conservée, ce qui coûte une nouvelle génération plutôt qu'une mauvaise vidéo. Quatre images sont une vérification du câblage, pas une statistique. Regardez vous-mêmes vos premières vidéos, et ajustez la limite de nouvelles générations selon ce que vous observez.
Studio effectue ce contrôle avec tout modèle exposé par votre serveur avec entrée d'images ; laissez le paramètre de vision vide et le contrôle est désactivé.