用視覺模型做畫面檢查:它抓到了什麼、又放過了什麼

影片

圖像模型會在招牌上寫出假字、加上浮水印,並讓人多出幾根手指。渲染後才發現的壞畫面要重新渲染;渲染前發現,只需重畫一次。因此 Studio 畫出的每張圖都會先給視覺模型看。

檢查如何運作

每張畫面會縮小為長邊最多 1,024 像素的 JPEG,並附上一條指令:僅以 JSON 回答,ok 為 true 或 false 並列出問題,若有任何文字、字母、數字、浮水印或標誌,或手部、臉部、身體變形,或畫面損壞,皆回答 false。被拒絕的畫面會用新的隨機種子重畫,最多重畫到你設定的上限。若沒有任何一張通過,任務會帶著原因停止,而不是發布壞畫面。若畫面是純色,或是某些安全過濾機制回傳的黑方塊,會在詢問模型前先被拒絕。

測試

我們使用撰寫腳本的同一個本地模型,由 vLLM 在我們自己的機器上提供服務,並給它四張我們的圖像模型先前生成的圖片:木桌上的咖啡杯、白底上的蘋果、書架前講電話的人,以及寫著「SALE 50% OFF」的咖啡圖。

每次檢查耗時 3 到 14 秒,當時模型正忙於其他工作。

它做不到什麼

視覺模型是第二雙眼睛,不是保證。它可能漏掉小瑕疵,而嚴格的指令有時會拒絕你會保留的圖片,這只會多一次重畫,而不是壞影片。四張圖片是線路檢查,不是統計數據。請親自觀看你的前幾支影片,並根據所見調整重畫上限。

Studio 使用伺服器上任何支援圖像輸入的模型執行此檢查;將視覺設定留空即可關閉檢查。

已更新: