מודל חזותי כבודק פריימים: מה הוא תפס ומה הוא החמיץ
וידאו
מודלי תמונה כותבים מילים מזויפות על שלטים, מוסיפים סימני מים ומעניקים לאנשים יותר מדי אצבעות. פריים פגום שנתפס אחרי הרנדור עולה רנדור מחדש; שנתפס לפני, עולה שרטוט מחדש אחד. לכן כל תמונה ש-Studio משרטטת מוצגת קודם למודל חזותי.
איך הבדיקה עובדת
כל פריים מוקטן ל-JPEG של לכל היותר 1,024 פיקסלים בצד הארוך שלו ונשלח עם הוראה אחת: לענות רק ב-JSON, ok true או false בצירוף רשימת בעיות, ולציין false עבור כל טקסט כתוב, אותיות, מספרים, סימן מים או לוגו, או עבור ידיים, פנים או גופות מעוותות, או תמונה שבורה. פריים שנדחה משרטט מחדש עם זרע (seed) חדש, עד למגבלה שהגדרת. אם אף שרטוט לא עובר, המשימה נעצרת עם הסיבות במקום לפרסם פריים פגום. פריים בצבע אחיד, או הריבוע השחור שמחזירים חלק ממסנני הבטיחות, נדחה עוד לפני ששואלים את המודל.
הבדיקה
השתמשנו באותו מודל מקומי שכותב את הסקריפטים שלנו, המוגש על ידי vLLM במכונה שלנו, ונתנו לו ארבע תמונות שהמודל שלנו לתמונות יצר קודם לכן: כוס קפה על שולחן עץ, תפוח על רקע לבן, אדם מדבר בטלפון מול מדף ספרים, ותמונת הקפה עם הכיתוב "SALE 50% OFF" חוצה אותה.
- שלוש התמונות הנקיות עברו, כולל תמונת מדף הספרים, שציפינו שכתבי הספרים עליו יעוררו אזעקת שווא.
- התמונה עם הסלוגן נדחתה, עם הסיבה "טקסט כתוב".
- בלולאה המלאה, פריים הסלוגן הגיע ראשון, נדחה, והשרטוט מחדש עבר: שני שרטוטים עבור הסצנה הזו.
כל בדיקה ארכה בין 3 ל-14 שניות, על מודל שהיה עמוס בעבודה אחרת באותו זמן.
מה זה לא עושה
מודל חזותי הוא זוג עיניים שני, לא אחריות. הוא יכול לפספס ארטיפקט קטן, והוראה קפדנית תדחה לפעמים תמונה שהייתם משאירים, מה שעולה שרטוט מחדש ולא סרטון פגום. ארבע תמונות הן בדיקת חיווט, לא סטטיסטיקה. צפו בעצמכם בסרטונים הראשונים, והדקו או הרפו את מגבלת השרטוט מחדש בהתאם למה שאתם רואים.
Studio מריצה את הבדיקה הזו עם כל מודל שהשרת שלכם חושף עם קלט תמונה; השאירו את הגדרת החזון ריקה והבדיקה כבויה.