Nasze czeskie FAQ mówiło coś odwrotnego niż angielskie. Każda nasza kontrola to przepuściła.
Języki
2 listopada nasze czeskie i słowackie FAQ mówiło kupującym, że wsparcie pomaga, gdy zestaw instaluje się na wspieranym środowisku. Angielska wersja mówi, gdy się nie instaluje. Obie są już poprawione, ale ta linia przeszła każdą kontrolę, jaką wykonujemy na tłumaczeniu, ponieważ nic w niej nie było zepsute: właściwy alfabet, właściwe liczby, właściwe nazwy, każdy znacznik na swoim miejscu. Tylko czytelnik mógł to zauważyć, więc poprosiliśmy jednego.
Jak pytaliśmy
Czytelnikiem jest model, który tłumaczy nasze strony, ten sam otwarty model Qwen na naszej własnej maszynie, któremu zadano inne pytanie. Otrzymuje jedną linię po angielsku, jej tłumaczenie i kilka zdań o stronie: jej ton, formę zwracania się w każdym języku oraz metaforę, którą mamy na myśli (automatyzacja bezobsługowa działa w ciemności, ponieważ nikogo tam nie potrzeba). Następnie: czy czytelnik tłumaczenia zostałby wprowadzony w błąd? Błędny fakt lub liczba, odwrotne znaczenie, inny obiekt lub czynność, brakujące lub dodane kluczowe informacje liczą się; idiom oddany przez jego sens, swobodniejsze sformułowanie lub pozostawiona po angielsku nazwa produktu nie liczą się. Odpowiada w JSON, linia po linii.
Co znalazł
Siedem stron naszego sklepu w 42 językach: strona główna, ceny, pytania, pakiet i trzy strony zestawów, 6216 przetłumaczonych linii. Zaznaczył 126, około 2%. Wśród nich:
- Czeski i słowacki: powyższa odpowiedź o zwrotach, wsparcie dla zestawu, który się instaluje.
- Rosyjski i ukraiński: zweryfikowane boty „nigdy nie przechodzą kontroli”, podczas gdy angielski mówi, że nigdy nie są sprawdzane. Odwrotnie, na stronie zestawu, który dotyczy dokładnie tego.
- Niemiecki: „z amharskiego na chiński uproszczony”, podczas gdy angielski mówi tradycyjny.
- Rumuński: „Dlaczego inne zestawy tego potrzebują?”, na co odpowiada „Nie”.
- Serbski: „strings” jako „zawody”.
- Niemiecki i włoski: „One floor, every line” z pakietu jako „jedna linia produkcyjna, każda linia”.
Co źle ocenił
Przeczytaliśmy każdą flagę w 16 językach, które sami potrafimy sprawdzić: 24 z nich. 9 to były prawdziwe błędy, 5 mogliśmy uznać za dyskusyjne, a 10 to fałszywe alarmy. Narzędzie skarżyło się na gramatykę zachowującą znaczenie (rodzaj przymiotnika w języku macedońskim, zaimek w języku włoskim), na formę zwrotu w języku rumuńskim, której nie wymagaliśmy w zleceniu, na listę rzeczowników odczytaną jako czasowniki, na poprawny słowacki termin na wagi modelu oraz na macedoński idiom, którego nie znało ("година дена", rok czasu).
Czytelnik nie jest więc sędzią. To filtr przed drugą próbą: oznaczona linia była tłumaczona ponownie z podaniem nazwy problemu, a nowa linia musiała przejść zarówno kontrole, jak i czytelnika, zanim zastąpiła starą. Na pierwszych sześciu stronach oznaczyło 91 linii. Zostawiliśmy w spokoju 26 z tych, które źle rozpoznaje (ton, gramatyka, idiomy, nazwy pozostawione po angielsku) i odesłaliśmy 65: 60 wróciło z tłumaczeniem, które przeszło obie kontrole i zastąpiło stare, a 5 pozostało bez zmian.
W przypadku tekstów w aplikacjach
Strony internetowe są trudne do czytania: długie linie, nasze metafory, słowa techniczne. Teksty w aplikacjach są krótkie i proste, więc przetestowaliśmy na nich również czytelnika, używając przykładowej aplikacji z 70 tekstami, która jest dostarczana z Polyglot. Przy 72 celowo wprowadzonych błędach oczywistego typu w sześciu językach ("można cofnąć" zamiast "nie można cofnąć", online zamiast offline, miesięcznie zamiast jednorazowo) oznaczyło wszystkie 72. Przy 21 bardziej subtelnych błędach oznaczyło 17. Przeoczyło "Przypomnij mi o %1$s" zapisane jako "Przypomnij mi za %1$s" w języku niemieckim, francuskim i hiszpańskim, czas odczytany jako oczekiwanie, oraz niemiecką linię, w której pominięto "twoje zmiany zostały zapisane". Na 484 rzeczywistych tłumaczeniach z przykładu w dziewięciu językach zgłosiło jeden fałszywy alarm, komórkę tabeli w języku francuskim uznaną za niejednoznaczną, i żaden przy 21 swobodnych, ale wiernych przeredagowaniach. Krótki, prosty tekst to obszar, w którym czyta najlepiej.
Gdzie teraz działa
Polyglot 1.3.0 robi to z opcją --review. Tłumaczenie, które przechodzi kontrole, jest czytane jeszcze raz; to, które mogłoby wprowadzać w błąd, jest ponownie generowane z podaniem nazwy problemu; to, które nadal brzmi źle, jest zachowane i oznaczone do sprawdzenia przez osobę, która je zatwierdza lub zapisuje własne sformułowanie za pomocą polyglot accept. polyglot review czyta tłumaczenia, które już masz, agencji lub z wcześniejszego uruchomienia. Werdykt jest zapamiętywany razem z tłumaczeniem, więc każdy nowy tekst kosztuje jedno dodatkowe żądanie, jednorazowo. Nie zastępuje rodzimego użytkownika języka w przypadku opisu produktu w Twoim sklepie, paywalla i regulaminu, a nasze własne strony są dowodem na to, że warto mieć obie rzeczy. Jak powstały same kontrole, opisano w wcześniejszej nocie.