В 1082 переводах встречались слова не из того алфавита. Наши проверки пропустили все эти случаи.
Языки
31 октября мы обнаружили на одном из наших сайтов венгерское предложение с китайскими словами посередине. Мы проверили сохраненные переводы всех наших сайтов на наличие букв, не принадлежащих их языку, и нашли 1082 таких перевода, 581 из них — на опубликованных страницах. Все они прошли наши проверки.
Что мы нашли
Все эти ошибки были допущены локальными моделями, которые переводят наши сайты, и все они одного типа: одно или два слова на другом языке. Из сохраненных переводов и из тех, что были отклонены с тех пор:
- Китайский язык в других языках: «they are» как 它们是 посреди тайского предложения; китайское слово для «track», 跟踪, с венгерским окончанием («támadók跟踪ására»); похожие слова в польском и греческом.
- Русский язык в греческом, армянском, иврите и словенском: «full house» на греческом вышло как «φουλ хаус», второе слово кириллицей.
- Похожие буквы: кириллические «о» или «а» в конце финского или чешского слова. Читатель страницы этого не заметит, а поисковая система или программа чтения с экрана — заметит.
- Соседние письменности: буква бенгали внутри слова на каннада, деванагари внутри каннада.
- Целые строки на тайском на кхмерских страницах: заголовки, метки и ячейки таблиц на кхмерских страницах двух сайтов были просто написаны на тайском.
В нашем магазине было семь таких строк. В одной из них «planted values» на румынском вышло как «valori植入».
Почему проверки их пропустили
Проверка письменности спрашивала, составляют ли не менее 45% букв перевода буквы письменности его языка. Это ловит оставленный английский, для чего она и была создана. Две китайские буквы в венгерском предложении из ста букв не меняют долю, а одна кириллическая буква меняет ее еще меньше.
Для коротких текстов действовало другое правило. При длине менее 25 символов на английском проверка лишь убеждалась, что ответ не остался на английском. Кхмерская ячейка таблицы, написанная на тайском, вообще не содержит английского, поэтому она прошла.
Правило, которое их ловит
Буква, принадлежащая письменности, которую язык не использует, и которой нет в английском исходнике, — это ошибка. Три исключения не дают правилу кричать «волки»:
- Латинские буквы всегда разрешены: названия брендов, код и единицы измерения встречаются на всех языках.
- Китайский, японский и корейский не проверяются, потому что в японском смешаны каны и кандзи, а в корейском могут использоваться ханча.
- Сербский и панджаби, каждый из которых пишется двумя алфавитами, проверяются только на наличие китайских, японских и корейских иероглифов.
Мы прогнали правило по всем данным, хранившимся на наших сайтах, и каждая отмеченная им строка, которую мы прочитали, оказалась ошибочной. С 31 октября оно отклонило 1 652 перевода в момент их создания, из них 1 549 — на кхмерском: модель не перестала писать тайскими буквами для кхмерского, но теперь её просят переделать, а не публикуют.
Уборка
Сохранённые переводы проверяются заново только тогда, когда их язык переводится снова, поэтому каждый затронутый язык был переведён заново: 61 язык на одиннадцати сайтах. Две строки вернулись с той же ошибкой во второй раз: румынская «valori植入» и греческая строка с иероглифом 面向. Эти две строки мы написали вручную. 2 ноября ни на одной опубликованной странице у нас не было ни одного символа из чужого алфавита.
Где сейчас живёт правило
Оно находится в translation-checks 1.1.0, бесплатно на GitHub, рядом с новой проверкой, которая следит, чтобы все числа возвращались и знали, что «3 million» — это 300万 на японском. При запуске на 568 574 принятых переводах наших сайтов новые проверки не дали ложных срабатываний. Polyglot 1.1.0 тоже их включает. Первый случай, когда наши проверки стали проблемой, описан в предыдущей заметке.