В нашем чешском FAQ было написано обратное по сравнению с английской версией. Все наши проверки это пропускали.
Языки
2 ноября в наших чешском и словацком FAQ покупателям сообщалось, что служба поддержки помогает, когда набор устанавливается на поддерживаемой конфигурации. В английской версии сказано, что помогает, когда не устанавливается. Сейчас обе версии исправлены, но эта строка проходила все проверки, которые мы запускаем для перевода, потому что в ней не было ошибок: правильный алфавит, правильные цифры, правильные имена, все теги на месте. Это мог заметить только читатель, поэтому мы попросили одного.
Как мы спрашивали
Читателем выступает модель, которая переводит наши сайты, та же открытая модель Qwen на нашем собственном оборудовании, но с другим вопросом. Она получает одну строку на английском, её перевод и несколько предложений о сайте: его тон, форму обращения на каждом языке и метафору, которую мы имеем в виду (завод, работающий без освещения, работает в темноте, потому что там никто не нужен). Затем: будет ли читатель перевода введен в заблуждение? Неверный факт или число, противоположный смысл, другой объект или действие, упущенная или добавленная ключевая информация считаются ошибкой; идиома, переданная по смыслу, более свободная формулировка или название продукта, оставленное на английском, ошибкой не считаются. Она отвечает в формате JSON, по одной строке за раз.
Что она нашла
Семь страниц нашего магазина на 42 языках: главная страница, цены, вопросы, комплект и три страницы наборов, 6 216 переведенных строк. Она отметила 126, около 2%. Среди них:
- Чешский и словацкий: ответ о возврате средств выше, поддержка набора, который устанавливается.
- Русский и украинский: проверенные боты «никогда не проходят проверку», тогда как в английском сказано, что они никогда не подвергаются проверке. Противоположный смысл на странице набора, который как раз об этом.
- Немецкий: «с амхарского на упрощенный китайский», тогда как в английском сказано традиционный.
- Румынский: «Почему другим наборам это нужно?», на что отвечено «Нет».
- Сербский: «строки» переведены как «профессии».
- Немецкий и итальянский: фраза комплекта «Одна линия, каждая линия» переведена как «одна производственная линия, каждая линия».
Где она ошиблась
Мы читаем каждый флаг на 16 языках, которые можем проверить сами: всего их 24. 9 оказались реальными ошибками, 5 — спорными, а 10 — ложными срабатываниями. Он жаловался на грамматику, сохраняющую смысл (род македонского прилагательного, итальянское местоимение), на форму обращения на румынском, которую мы не запрашивали в брифе, на список существительных, прочитанных им как глаголы, на корректный словацкий термин для весов модели и на македонскую идиому, которую он не знал («година дена» — в течение года).
Таким образом, читатель — не судья. Это фильтр перед второй попыткой: помеченная строка переводилась заново с указанием проблемы, и новая строка должна была пройти и проверки, и читателя, прежде чем заменить старую. На первых шести страницах он пометил 91 строку. 26 из тех типов, где он ошибается (тон, грамматика, идиомы, имена, оставленные на английском), мы оставили без изменений, а 65 отправили на доработку: 60 вернулись с переводом, прошедшим оба этапа, и заменили старый, а 5 остались как были.
О строках интерфейса
Веб-страницы читать сложно: длинные строки, наши метафоры, технические термины. Строки интерфейса короткие и простые, поэтому мы проверили читателя и на них, используя пример приложения из 70 строк, поставляемый с Polyglot. На 72 очевидных внедренных ошибках на шести языках («можно отменить» вместо «нельзя отменить», онлайн вместо офлайн, ежемесячно вместо разовой оплаты) он пометил все 72. На 21 более тонкой ошибке он пометил 17. Он пропустил «Напомнить мне в %1$s», написанное как «напомнить мне через %1$s» на немецком, французском и испанском, где время воспринималось как ожидание, и немецкую строку, где пропало «ваши изменения сохранены». На 484 реальных переводах примера на девяти языках он выдал одно ложное срабатывание — ячейку таблицы на французском, которую назвал неоднозначной, и ни одного на 21 перефразировке, свободной, но точной. Короткий, простой текст — то, где он читает лучше всего.
Где он сейчас работает
Polyglot 1.3.0 делает это с помощью --review. Перевод, прошедший проверки, перечитывается еще раз; тот, который мог бы ввести в заблуждение, запрашивается снова с указанием проблемы; тот, который по-прежнему читается неправильно, сохраняется и выводится в список для человека, который оставляет его или сохраняет свою формулировку с помощью polyglot accept. polyglot review проверяет переводы, которые у вас уже есть, — от агентства или из предыдущего запуска. Вердикт запоминается вместе с переводом, поэтому каждая новая строка стоит одного дополнительного запроса, один раз. Это не заменяет носителя языка для вашей карточки товара, платного доступа и условий использования, а наши собственные страницы — доказательство того, почему стоит иметь и то, и другое. О том, как появились сами проверки, рассказано в более ранней заметке.