Model wizji jako kontroler klatek: co wykrył, a co przepuścił
Wideo
Modele obrazowe dopisują fałszywe napisy na tabliczkach, dodają znaki wodne i dają ludziom zbyt wiele palców. Zła klatka wykryta po renderze kosztuje ponowny render; wykryta wcześniej – kosztuje jedno przerysowanie. Dlatego każdy obrazek narysowany przez Studio jest najpierw pokazywany modelowi wizji.
Jak działa kontrola
Każda klatka jest skalowana do JPEG-a o maksymalnie 1024 pikselach na dłuższym boku i wysyłana z jedną instrukcją: odpowiedz wyłącznie w formacie JSON, ok true lub false oraz lista problemów, a false podaj dla wszelkiego tekstu, liter, cyfr, znaku wodnego lub logo, dla zniekształconych dłoni, twarzy lub ciał albo dla uszkodzonego obrazu. Odrzucona klatka jest rysowana ponownie z nowym seedem, do limitu, który ustawisz. Jeśli żadne rysowanie nie przejdzie, zadanie kończy się z podaniem przyczyn, zamiast publikować uszkodzoną klatkę. Klatka jednolita kolorystycznie lub czarny kwadrat zwracany przez niektóre filtry bezpieczeństwa jest odrzucana, zanim model w ogóle zostanie zapytany.
Test
Użyliśmy tego samego lokalnego modelu, który pisze nasze skrypty, obsługiwanego przez vLLM na naszej własnej maszynie, i podaliśmy mu cztery obrazki wcześniej wygenerowane przez nasz model obrazowy: filiżankę kawy na drewnianym stole, jabłko na białym tle, osobę rozmawiającą przez telefon przed regałem z książkami oraz obrazek z kawą z napisem „SALE 50% OFF” nałożonym na wierzch.
- Trzy czyste obrazki przeszły, włącznie z regałem z książkami, którego grzbiety książek miały według naszych oczekiwań wywołać fałszywy alarm.
- Obrazek z hasłem reklamowym został odrzucony z powodu „napisanego tekstu”.
- W pełnej pętli klatka z hasłem reklamowym pojawiła się pierwsza, została odrzucona, a przerysowanie przeszło: dwa rysowania dla tej sceny.
Każda kontrola trwała od 3 do 14 sekund na modelu, który w tym czasie był zajęty innymi zadaniami.
Czego nie robi
Model wizji to druga para oczu, a nie gwarancja. Może przeoczyć drobny artefakt, a rygorystyczna instrukcja czasem odrzuci obrazek, który byś zachował, co kosztuje przerysowanie, a nie zły film. Cztery obrazki to sprawdzenie połączeń, a nie statystyka. Obejrzyj samodzielnie swoje pierwsze filmy i dostosuj limit przerysowań na podstawie tego, co zobaczysz.
Studio wykonuje tę kontrolę z dowolnym modelem dostępnym na Twoim serwerze z obsługą wejścia obrazowego; pozostaw ustawienie wizji puste, a kontrola będzie wyłączona.