Ένα μοντέλο όρασης ως ελεγκτής καρέ: τι εντόπισε και τι άφησε να περάσει
Βίντεο
Τα μοντέλα εικόνων γράφουν ψεύτικες λέξεις σε πινακίδες, προσθέτουν υδατογραφήματα και δίνουν στους ανθρώπους υπερβολικά πολλά δάχτυλα. Ένα κακό καρέ που εντοπίζεται μετά την απόδοση κοστίζει μια νέα απόδοση· πριν, κοστίζει μια νέα σχεδίαση. Έτσι, κάθε εικόνα που σχεδιάζει το Studio εμφανίζεται πρώτα σε ένα μοντέλο όρασης.
Πώς λειτουργεί ο έλεγχος
Κάθε καρέ σμικρύνεται σε JPEG με μέγιστο μήκος πλευράς 1.024 pixel και στέλνεται με μία εντολή: απάντησε μόνο με JSON, ok true ή false και μια λίστα προβλημάτων, και δήλωσε false για οποιοδήποτε γραπτό κείμενο, γράμματα, αριθμούς, υδατογράφημα ή λογότυπο, ή για παραμορφωμένα χέρια, πρόσωπα ή σώματα, ή για κατεστραμμένη εικόνα. Ένα απορριφθέν καρέ σχεδιάζεται ξανά με νέα seed, μέχρι ένα όριο που ορίζετε εσείς. Αν καμία σχεδίαση δεν περάσει, η εργασία σταματά με τους λόγους αντί να δημοσιεύσει ένα κατεστραμμένο καρέ. Ένα καρέ που είναι μονόχρωμο, ή το μαύρο τετράγωνο που επιστρέφουν ορισμένοι μηχανισμοί ασφαλείας, απορρίπτεται πριν ακόμη ρωτηθεί το μοντέλο.
Η δοκιμή
Χρησιμοποιήσαμε το ίδιο τοπικό μοντέλο που γράφει τα σενάρια μας, εξυπηρετούμενο από το vLLM στο δικό μας μηχάνημα, και του δώσαμε τέσσερις εικόνες που είχε δημιουργήσει νωρίτερα το μοντέλο εικόνων μας: ένα φλιτζάνι καφές σε ξύλινο τραπέζι, ένα μήλο σε λευκό φόντο, ένα άτομο στο τηλέφωνο μπροστά σε βιβλιοθήκη, και την εικόνα του καφέ με την ένδειξη "SALE 50% OFF" γραμμένη πάνω.
- Οι τρεις καθαρές εικόνες πέρασαν, συμπεριλαμβανομένης της βιβλιοθήκης, των ραχών των βιβλίων της οποίας περιμέναμε να προκαλέσουν λανθασμένο συναγερμό.
- Η εικόνα με το σύνθημα απορρίφθηκε, με τον λόγο "written text".
- Στον πλήρη βρόχο, το καρέ με το σύνθημα ήρθε πρώτο, απορρίφθηκε, και η νέα σχεδίαση πέρασε: δύο σχεδιάσεις για αυτή τη σκηνή.
Κάθε έλεγχος took 3 to 14 seconds, σε ένα μοντέλο που ήταν απασχολημένο με άλλες εργασίες εκείνη την ώρα.
Τι δεν κάνει
Ένα μοντέλο όρασης είναι ένα δεύτερο ζευγάρι μάτια, όχι εγγύηση. Μπορεί να χάσει ένα μικρό τεχνούργημα, και μια αυστηρή εντολή θα απορρίψει μερικές φορές μια εικόνα που θα κρατούσατε, κάτι που κοστίζει μια νέα σχεδίαση αντί για ένα κακό βίντεο. Τέσσερις εικόνες είναι έλεγχος της καλωδίωσης, όχι στατιστικό. Παρακολουθήστε μόνοι σας τα πρώτα σας βίντεο, και σφίξτε ή χαλαρώστε το όριο νέας σχεδίασης με βάση όσα βλέπετε.
Studio εκτελεί αυτόν τον έλεγχο με οποιοδήποτε μοντέλο που εκθέτει ο διακομιστής σας με εισαγωγή εικόνας· αφήστε τη ρύθμιση όρασης κενή και ο έλεγχος απενεργοποιείται.