フレームチェッカーとしてのビジョンモデル：検出したものと見逃したもの
動画
画像モデルは看板に偽の文字を書き、ウォーターマークを追加し、人物の指が多すぎることがあります。レンダリング後に悪いフレームが見つかった場合、再レンダリングのコストがかかりますが、事前に発見すれば1回の再描画で済みます。そのため、Studioが描くすべての画像は、まずビジョンモデルに確認させます。
チェックの仕組み
各フレームは長辺が最大1,024ピクセルのJPEGに縮小され、次の指示とともに送信されます。JSONのみで回答し、okをtrueまたはfalse、問題点のリストを付け、書き込み文字、アルファベット、数字、ウォーターマーク、ロゴ、変形した手・顔・体、破損した画像に対してはfalseを返す、というものです。拒否されたフレームは、あなたが設定した上限まで、新しいシードで再描画されます。どの描画も通らなかった場合、壊れたフレームを公開するのではなく、理由付きでジョブを停止します。単色のフレームや、一部の安全フィルターが返す黒い四角は、モデルに尋ねる前に拒否されます。
テスト
スクリプト作成に使用しているのと同じローカルモデルを、自社マシンのvLLMで提供し、画像モデルが事前に作成した4枚の画像を与えました。木製テーブルの上のコーヒー、白い背景のりんご、本棚の前で電話をしている人物、そしてコーヒーの画像に「SALE 50% OFF」と書き込んだものです。
- 3枚のクリーンな画像は合格しました。誤検知を懸念していた本棚の画像も合格しました。
- スローガン入りの画像は、「書き込み文字」という理由で拒否されました。
- フルループでは、スローガン入りのフレームが最初に拒否され、再描画は合格しました。そのシーンでは2回の描画で済みました。
チェック1回あたり3〜14秒かかりました。この時、モデルは他の作業でビジー状態でした。
できないこと
ビジョンモデルは、もう1組の目であり、保証ではありません。小さなアーティファクトを見逃すことがあり、厳しい指示では、あなたが採用したかった画像を拒否することがあります。その場合、悪い動画ではなく、再描画のコストが発生します。4枚の画像は配線の確認であり、統計ではありません。最初の動画は自分で確認し、見た目に合わせて再描画の上限を調整してください。
Studioは、サーバーが画像入力をサポートするモデルであれば、このチェックを実行します。ビジョン設定を空にすると、チェックはオフになります。