Mô hình thị giác máy tính với vai trò kiểm tra khung hình: những gì nó phát hiện và những gì nó bỏ sót
Video
Các mô hình hình ảnh thường viết chữ giả trên biển hiệu, thêm watermark và vẽ người có quá nhiều ngón tay. Một khung hình lỗi được phát hiện sau khi render sẽ khiến bạn phải render lại; phát hiện trước thì chỉ tốn một lần vẽ lại. Vì vậy, mọi hình ảnh mà Studio vẽ đều được đưa cho một mô hình thị giác máy tính xem trước.
Cách thức kiểm tra hoạt động
Mỗi khung hình được thu nhỏ thành JPEG có cạnh dài tối đa 1.024 pixel và gửi kèm một chỉ dẫn: chỉ trả lời bằng JSON, ok true hoặc false cùng danh sách các vấn đề, và báo false nếu có bất kỳ văn bản, chữ cái, số, watermark hay logo nào, hoặc nếu tay, mặt, cơ thể bị biến dạng, hay hình ảnh bị vỡ. Khung hình bị từ chối sẽ được vẽ lại với seed mới, tối đa đến giới hạn bạn đặt. Nếu không lần vẽ nào đạt, công việc sẽ dừng lại kèm lý do thay vì công bố một khung hình lỗi. Khung hình chỉ có một màu phẳng, hoặc hình vuông đen do một số bộ lọc an toàn trả về, sẽ bị loại trước khi hỏi mô hình.
Bài kiểm thử
Chúng tôi sử dụng cùng mô hình cục bộ dùng để viết kịch bản, chạy qua vLLM trên máy chủ riêng, và đưa cho nó bốn hình ảnh do mô hình hình ảnh của chúng tôi tạo trước đó: một tách cà phê trên bàn gỗ, một quả táo trên nền trắng, một người đang gọi điện trước giá sách, và hình cà phê có dòng chữ "SALE 50% OFF" ngang qua.
- Ba hình ảnh sạch đều đạt, bao gồm cả hình giá sách, nơi chúng tôi từng lo gáy sách sẽ gây cảnh báo giả.
- Hình có khẩu hiệu bị từ chối với lý do "văn bản".
- Trong vòng lặp đầy đủ, khung hình có khẩu hiệu xuất hiện đầu tiên, bị từ chối, và lần vẽ lại đạt: hai lần vẽ cho cảnh đó.
Mỗi lần kiểm tra mất từ 3 đến 14 giây, trên một mô hình lúc đó đang bận với các tác vụ khác.
Những gì nó không làm được
Mô hình thị giác máy tính là một đôi mắt thứ hai, không phải bảo chứng. Nó có thể bỏ sót một lỗi nhỏ, và một chỉ dẫn nghiêm ngặt đôi khi sẽ từ chối một hình ảnh mà bạn vẫn muốn giữ, khiến bạn phải vẽ lại thay vì dùng một video lỗi. Bốn hình ảnh chỉ là kiểm tra đường truyền, không phải thống kê. Hãy tự xem các video đầu tiên của bạn, và siết chặt hoặc nới lỏng giới hạn vẽ lại dựa trên những gì bạn thấy.
Studio chạy kiểm tra này với bất kỳ mô hình nào máy chủ của bạn cung cấp hỗ trợ đầu vào hình ảnh; để trống thiết lập thị giác máy tính thì kiểm tra sẽ tắt.