Egy képfelismerő modell keretellenőrként: mit fogott ki és mit engedett át
Videó
A képgeneráló modellek hamis szavakat írnak táblákra, vízjeleket adnak hozzá, és túl sok ujjat adnak az embereknek. Egy rossz keret, amelyet a renderelés után találunk meg, újrarögzítést igényel; ha előtte találjuk meg, csak egy újrarajzolást. Ezért minden képet, amelyet a Studio rajzol, először megmutatunk egy képfelismerő modellnek.
Hogyan működik az ellenőrzés
Minden keretet JPEG formátumba méretezünk le úgy, hogy a hosszabb oldala legfeljebb 1024 pixel legyen, és elküldjük egyetlen utasítással: válaszoljon csak JSON-ban, ok igaz vagy hamis, valamint a problémák listája, és jelezzen hamis értéket minden írt szöveg, betű, szám, vízjel vagy logó esetén, illetve torzult kéz, arc vagy test, vagy hibás kép esetén. Egy elutasított keretet új maggal (seed) rajzolunk újra, egy általad beállított korlátig. Ha egyetlen rajz sem megy át, a feladat leáll az okok megadásával, ahelyett, hogy egy hibás keretet publikálna. Egy egyszínű keretet, vagy azt a fekete négyzetet, amelyet egyes biztonsági szűrők adnak vissza, már a modell megkérdezése előtt elutasítjuk.
A teszt
Ugyanazt a helyi modellt használtuk, amely a szkriptjeinket írja, vLLM-mel a saját gépünkön kiszolgálva, és négy képet adtunk neki, amelyeket a képgeneráló modellünk korábban készített: egy csésze kávé fa asztalon, egy alma fehér háttéren, egy telefonáló ember könyvespolc előtt, és a kávé kép „50% KEDVEZMÉNY” felirattal rajta.
- A három tiszta kép átment, beleértve a könyvespolcot is, amelynek gerinceiről azt vártuk, hogy téves riasztást váltanak ki.
- A szlogent tartalmazó képet elutasították „írt szöveg” indokkal.
- A teljes ciklusban a szlogenes keret jött először, elutasították, majd az újrarajzolás átment: ehhez a jelenethez két rajz kellett.
Minden ellenőrzés 3 és 14 másodperc között tartott, egy olyan modellen, amely éppen más munkával volt elfoglalva.
Amit nem csinál
A képfelismerő modell egy második szem, nem garancia. Kihagyhat egy apró hibát, és egy szigorú utasítás néha elutasít egy olyan képet, amelyet megtartottál volna, ami egy újrarajzolást jelent egy rossz videó helyett. Négy kép az összeköttetés ellenőrzése, nem statisztika. Nézd meg magad az első videóidat, és állítsd szigorúbbra vagy lazábbra az újrarajzolási korlátot a tapasztaltak alapján.
Studio ezzel az ellenőrzéssel fut bármelyik modellel, amelyet a szervered képbemenettel kínál; hagyd üresen a képfelismerési beállítást, és az ellenőrzés ki van kapcsolva.