프레임 검사기로서 비전 모델이 잡아낸 것과 놓친 것
영상
이미지 모델은 간판에 가짜 단어를 쓰고, 워터마크를 추가하고, 사람의 손가락을 너무 많이 그려 넣습니다. 렌더링 이후에 나쁜 프레임을 발견하면 재렌더링 비용이 발생하지만, 렌더링 전에 발견하면 재그리기 한 번으로 끝납니다. 그래서 Studio가 그리는 모든 이미지는 먼저 비전 모델에 의해 검사됩니다.
검사 방식
각 프레임은 긴 변이 최대 1,024픽셀인 JPEG로 축소된 후, 하나의 지시문과 함께 전송됩니다. 지시문은 다음과 같습니다: JSON으로만 답변하고, ok를 true 또는 false로 설정하며 문제 목록을 포함하고, 텍스트, 문자, 숫자, 워터마크, 로고, 변형된 손, 얼굴, 신체 또는 깨진 이미지가 있으면 false로 표시합니다. 거부된 프레임은 사용자가 설정한 한도 내에서 새로운 시드로 다시 그려집니다. 통과하는 드로잉이 없으면 깨진 프레임을 게시하는 대신 이유와 함께 작업이 중단됩니다. 단색 프레임이나 일부 안전 필터가 반환하는 검은 사각형은 모델에 질문하기 전에 거부됩니다.
테스트
스크립트 작성에 사용하는 것과 동일한 로컬 모델을 사용했으며, 자체 머신에서 vLLM으로 서빙했습니다. 이 모델에게 이미지 모델이 이전에 생성한 네 장의 이미지를 제공했습니다: 나무 테이블 위의 커피 한 잔, 흰색 배경의 사과, 책장 앞에서 통화하는 사람, 그리고 "SALE 50% OFF"라는 문구가 적힌 커피 이미지.
- 책장 이미지는 책등으로 인해 오탐지가 발생할 것으로 예상했지만, 세 장의 깨끗한 이미지는 모두 통과했습니다.
- 슬로건이 적힌 이미지는 "텍스트"라는 이유로 거부되었습니다.
- 전체 루프에서는 슬로건 프레임이 먼저 나왔고, 거부된 후 재그리기가 통과되었습니다. 해당 장면에는 두 번의 드로잉이 필요했습니다.
각 검사는 다른 작업을 처리 중이던 모델에서 3초에서 14초가 걸렸습니다.
하지 않는 것
비전 모델은 두 번째 눈일 뿐, 보장은 아닙니다. 작은 아티팩트를 놓칠 수 있으며, 엄격한 지시문은 가끔 유지하고 싶었던 이미지를 거부하여 나쁜 영상이 아닌 재그리기 비용을 발생시킬 수 있습니다. 네 장의 이미지는 배선 확인용이지 통계가 아닙니다. 첫 번째 영상들은 직접 확인하고, 관찰한 내용에 따라 재그리기 한도를 조이거나 느슨하게 하십시오.
Studio는 서버가 노출하는 이미지 입력 지원 모델로 이 검사를 수행합니다. 비전 설정을 비워 두면 검사가 꺼집니다.