نموذج رؤية بديلًا عن فاحص الإطارات: ما الذي التقطه وما الذي أفلته
الفيديو
تكتب نماذج الصور كلمات وهمية على اللافتات، وتضيف علامات مائية، وتمنح الأشخاص أصابع أكثر من اللازم. إطار رديء يُكتشف بعد العرض يكلف إعادة عرض؛ واكتشافه قبل العرض يكلف إعادة رسم واحدة. لذلك، تُعرض كل صورة يرسمها Studio على نموذج رؤية أولاً.
كيف يعمل الفحص
يُصغَّر كل إطار إلى JPEG لا يتجاوز 1,024 بكسل على جانبه الأطول، ويُرسَل مع تعليمات واحدة: أجب فقط بـ JSON، ok صحيح أو خطأ مع قائمة بالمشكلات، وقل خطأ لأي نص مكتوب، أو حروف، أو أرقام، أو علامة مائية، أو شعار، أو لليدين أو الوجوه أو الأجسام المشوهة، أو للصورة المعطوبة. يُعاد رسم الإطار المرفوض ببذرة جديدة، حتى حدٍّ تحدده أنت. إذا لم يمر أي رسم، يتوقف المهمة مع الأسباب بدلاً من نشر إطار معطوب. يُرفض الإطار أحادي اللون، أو المربع الأسود الذي تعيده بعض مرشحات الأمان، قبل أن يُسأل النموذج أصلاً.
الاختبار
استخدمنا نفس النموذج المحلي الذي يكتب نصوصنا، ويُقدَّم عبر vLLM على جهازنا الخاص، وأعطَيناه أربع صور أنتجها نموذج الصور لدينا سابقاً: كوب قهوة على طاولة خشبية، تفاحة على خلفية بيضاء، شخص يتكلم على الهاتف أمام رف كتب، وصورة القهوة مع كتابة «SALE 50% OFF» عبرها.
- نجحت الصور الثلاث النظيفة، بما فيها صورة رف الكتب، التي كنا نتوقع أن تُثير إنذاراً كاذباً بسبب كعوب الكتب.
- رُفضت الصورة التي تحمل الشعار، مع السبب «نص مكتوب».
- في الحلقة الكاملة، جاءت إطار الشعار أولاً، ورُفض، ثم نجح إعادة الرسم: رسمتان لتلك المشهد.
استغرق كل فحص من 3 إلى 14 ثانية، على نموذج كان مشغولاً بأعمال أخرى في ذلك الوقت.
ما الذي لا يفعله
نموذج الرؤية هو عينان إضافيتان، وليس ضماناً. قد يفوت عيباً صغيراً، وقد ترفض تعليمات صارمة أحياناً صورة كنت ستحتفظ بها، مما يكلف إعادة رسم بدلاً من فيديو رديء. أربع صور هي فحص للتوصيلات، وليس إحصائية. راقب فيديوهاتك الأولى بنفسك، وشدد أو خفف حد إعادة الرسم بناءً على ما تراه.
Studio يشغّل هذا الفحص مع أي نموذج يعرّضه خادمك مع إدخال صور؛ اترك إعداد الرؤية فارغاً ليُطفأ الفحص.