โมเดลวิชันทำหน้าที่เป็นผู้ตรวจสอบเฟรม: สิ่งที่จับได้และสิ่งที่ปล่อยผ่าน
วิดีโอ
โมเดลภาพมักเขียนตัวอักษรปลอมบนป้าย เพิ่มลายน้ำ และวาดนิ้วมือให้คนมากเกินไป การพบเฟรมเสียหลังเรนเดอร์เสร็จต้องเสียเวลาเรนเดอร์ใหม่ แต่ถ้าพบก่อนจะเสียแค่การวาดใหม่ ดังนั้นทุกภาพที่ Studio วาดจะถูกส่งให้โมเดลวิชันตรวจสอบก่อน
วิธีทำงานของการตรวจสอบ
แต่ละเฟรมจะถูกย่อขนาดเป็น JPEG ที่มีด้านยาวสุดไม่เกิน 1,024 พิกเซล แล้วส่งพร้อมคำสั่งเดียว: ตอบกลับเป็น JSON เท่านั้น โดยระบุ ok เป็น true หรือ false พร้อมรายการปัญหา และให้ตอบ false หากพบข้อความ ตัวอักษร ตัวเลข ลายน้ำ หรือโลโก้ รวมถึงมือ ใบหน้า หรือร่างกายที่ผิดรูป หรือภาพเสียหาย เฟรมที่ถูกปฏิเสธจะถูกวาดใหม่ด้วย seed ใหม่ จนกว่าจะถึงจำนวนครั้งที่กำหนดไว้ หากไม่มีภาพใดผ่าน งานจะหยุดพร้อมแจ้งเหตุผล แทนที่จะเผยแพร่เฟรมเสีย ส่วนเฟรมที่เป็นสีพื้นเดียว หรือเป็นสี่เหลี่ยมสีดำที่ตัวกรองความปลอดภัยบางตัวส่งกลับมา จะถูกปฏิเสธทันทีโดยไม่ต้องถามโมเดล
การทดสอบ
เราใช้โมเดลในเครื่องตัวเดียวกับที่เขียนสคริปต์ของเรา โดยรันผ่าน vLLM บนเครื่องของเราเอง และให้มันดูภาพ 4 ภาพที่โมเดลภาพของเราสร้างไว้ก่อนหน้านี้ ได้แก่ แก้วกาแฟบนโต๊ะไม้ แอปเปิลบนพื้นหลังสีขาว คนคุยโทรศัพท์หน้าชั้นวางหนังสือ และภาพกาแฟที่มีข้อความ "SALE 50% OFF" พาดอยู่
- ภาพที่ถูกต้องทั้ง 3 ภาพผ่านเกณฑ์ รวมถึงภาพชั้นวางหนังสือ ซึ่งเราคาดว่าสันหนังสือจะทำให้เกิดสัญญาณเตือนผิดพลาด
- ภาพที่มีสโลแกนถูกปฏิเสธ โดยให้เหตุผลว่า "พบข้อความ"
- ในลูปการทำงานจริง เฟรมที่มีสโลแกนถูกส่งมาก่อนและถูกปฏิเสธ จากนั้นการวาดใหม่ผ่านเกณฑ์: ใช้การวาด 2 ครั้งสำหรับฉากนั้น
การตรวจสอบแต่ละครั้งใช้เวลา 3 ถึง 14 วินาที บนโมเดลที่กำลังทำงานอื่นอยู่ด้วยในขณะนั้น
สิ่งที่ไม่ได้ทำ
โมเดลวิชันคือสายตาอีกคู่หนึ่ง ไม่ใช่การรับประกัน มันอาจพลาดข้อบกพร่องเล็กๆ และคำสั่งที่เข้มงวดอาจปฏิเสธภาพที่คุณอยากเก็บไว้ ซึ่งทำให้ต้องวาดใหม่แทนที่จะได้วิดีโอเสีย ภาพ 4 ภาพเป็นการตรวจสอบระบบว่าทำงานถูกต้องหรือไม่ ไม่ใช่สถิติ จงดูวิดีโอแรกๆ ด้วยตัวเอง แล้วปรับจำนวนครั้งการวาดใหม่ให้เข้มงวดหรือหลวมลงตามที่คุณเห็น
Studio รันการตรวจสอบนี้ด้วยโมเดลใดก็ได้ที่เซิร์ฟเวอร์ของคุณเปิดให้ใช้งานพร้อมรองรับอินพุตภาพ หากเว้นค่าการตั้งค่าวิชันว่างไว้ การตรวจสอบจะถูกปิด