Ein Vision-Modell als Frame-Prüfer: Was es erkannt hat und was es durchgelassen hat
Video
Bildmodelle schreiben gefälschte Wörter auf Schilder, fügen Wasserzeichen hinzu und geben Menschen zu viele Finger. Ein schlechter Frame, der nach dem Rendern gefunden wird, kostet ein erneutes Rendern; vorher gefunden, kostet er nur eine Neuausgabe. Daher wird jedes Bild, das Studio zeichnet, zuerst einem Vision-Modell gezeigt.
So funktioniert die Prüfung
Jeder Frame wird auf ein JPEG mit maximal 1.024 Pixeln an der längeren Seite skaliert und mit einer Anweisung gesendet: Antworte nur mit JSON, ok true oder false plus einer Liste von Problemen, und sage false bei jedem geschriebenen Text, Buchstaben, Zahlen, Wasserzeichen oder Logo, bei deformierten Händen, Gesichtern oder Körpern oder einem fehlerhaften Bild. Ein abgelehnter Frame wird mit einem neuen Seed erneut gezeichnet, bis zu einem von dir festgelegten Limit. Wenn keine Ausgabe besteht, stoppt der Job mit den Gründen, anstatt einen fehlerhaften Frame zu veröffentlichen. Ein Frame, der eine einfarbige Fläche ist oder das schwarze Quadrat, das manche Sicherheitsfilter zurückgeben, wird abgelehnt, bevor das Modell überhaupt gefragt wird.
Der Test
Wir verwendeten dasselbe lokale Modell, das unsere Skripte schreibt, bereitgestellt von vLLM auf unserem eigenen Rechner, und gaben ihm vier Bilder, die unser Bildmodell zuvor erstellt hatte: eine Tasse Kaffee auf einem Holztisch, ein Apfel auf weißem Hintergrund, eine Person am Telefon vor einem Bücherregal und das Kaffeebild mit dem quer darüber geschriebenen Text "SALE 50% OFF".
- Die drei sauberen Bilder bestanden, einschließlich des Bücherregals, dessen Buchrücken wir als Auslöser für einen Fehlalarm erwartet hatten.
- Das Bild mit dem Slogan wurde abgelehnt, mit dem Grund "geschriebener Text".
- Im vollständigen Durchlauf kam der Slogan-Frame zuerst, wurde abgelehnt, und die Neuausgabe bestand: zwei Ausgaben für diese Szene.
Jede Prüfung dauerte 3 bis 14 Sekunden, auf einem Modell, das zu diesem Zeitpunkt mit anderen Aufgaben beschäftigt war.
Was es nicht leistet
Ein Vision-Modell ist ein zweites Augenpaar, keine Garantie. Es kann ein kleines Artefakt übersehen, und eine strenge Anweisung lehnt manchmal ein Bild ab, das du behalten hättest, was eine Neuausgabe statt eines schlechten Videos kostet. Vier Bilder sind ein Test der Verdrahtung, keine Statistik. Sieh dir deine ersten Videos selbst an und passe das Limit für Neuausgaben anhand deiner Beobachtungen an.
Studio führt diese Prüfung mit jedem Modell durch, das dein Server mit Bildeingabe bereitstellt; lass die Vision-Einstellung leer, und die Prüfung ist deaktiviert.