مدل بینایی به‌عنوان بازرس فریم: چه چیزی را گرفت و چه چیزی را رد کرد
ویدیو
مدل‌های تصویر کلمات جعلی روی تابلوها می‌نویسند، واترمارک اضافه می‌کنند و به افراد انگشتان بیش از حد می‌دهند. یافتن یک فریم معیوب پس از رندر، هزینه یک رندر مجدد دارد؛ اما یافتن آن پیش از رندر، هزینه یک ترسیم مجدد است. بنابراین هر تصویری که Studio می‌سازد، ابتدا به یک مدل بینایی نشان داده می‌شود.
نحوه عملکرد بررسی
هر فریم به یک JPEG با حداکثر 1,024 پیکسل در بلندترین ضلع کوچک‌سازی شده و با یک دستور ارسال می‌شود: فقط با JSON پاسخ بده، ok را true یا false کن و لیستی از مشکلات بده، و برای هر متن نوشته‌شده، حروف، اعداد، واترمارک یا لوگو، یا دست‌ها، صورت‌ها یا بدن‌های بدشکل، یا تصویر خراب، false بگو. یک فریم رد‌شده با seed جدید دوباره ترسیم می‌شود، تا سقفی که شما تعیین می‌کنید. اگر هیچ ترسیمی قبول نشود، کار با ذکر دلایل متوقف می‌شود و فریم خراب منتشر نمی‌گردد. فریمی که یک رنگ یکدست باشد یا مربع سیاهی که برخی فیلترهای ایمنی برمی‌گردانند، پیش از پرسیدن از مدل رد می‌شود.
آزمون
ما از همان مدل محلی که اسکریپت‌های ما را می‌نویسد، سرویس‌دهی‌شده توسط vLLM روی ماشین خودمان، استفاده کردیم و به آن چهار تصویر که مدل تصویری ما قبلاً ساخته بود دادیم: یک فنجان قهوه روی میز چوبی، یک سیب روی پس‌زمینه سفید، یک فرد در حال صحبت با تلفن جلوی یک کتابخانه، و تصویر قهوه با نوشته «SALE 50% OFF» روی آن.
- سه تصویر سالم قبول شدند، از جمله تصویر کتابخانه که انتظار داشتیم پشت کتاب‌ها باعث هشدار کاذب شود.
- تصویر با شعار تبلیغاتی به دلیل «متن نوشته‌شده» رد شد.
- در چرخه کامل، فریم شعار تبلیغاتی اول آمد، رد شد و ترسیم مجدد قبول شد: دو ترسیم برای آن صحنه.
هر بررسی بین 3 تا 14 ثانیه طول کشید، روی مدلی که در آن زمان مشغول کارهای دیگر بود.
کارهایی که انجام نمی‌دهد
یک مدل بینایی یک جفت چشم دوم است، نه یک تضمین. ممکن است یک نقص کوچک را از قلم بیندازد، و یک دستور سخت‌گیرانه گاهی تصویری را رد می‌کند که شما نگه می‌داشتید، که هزینه آن یک ترسیم مجدد است نه یک ویدیوی بد. چهار تصویر یک بررسی اتصالات است، نه یک آمار. ویدیوهای اول خود را خودتان ببینید و سقف ترسیم مجدد را بر اساس آنچه می‌بینید سفت یا شل کنید.
Studio این بررسی را با هر مدلی که سرور شما با ورودی تصویر ارائه می‌دهد، اجرا می‌کند؛ اگر تنظیمات بینایی را خالی بگذارید، بررسی خاموش است.