gettext Plural-Forms для 42 языков, проверенные по числам в соответствии с CLDR
Языки
Запись множественного числа gettext хранит формы в пронумерованных слотах, msgstr[0], msgstr[1] и далее, а строка Plural-Forms в заголовке файла — это небольшая формула на C, которая выбирает слот для числа. Для Polyglot 1.4.0 нам нужна была эта формула для всех 42 языков, на которые он переводит, и каждый слот должен был содержать форму, которую CLDR — данные о множественном числе, лежащие в основе Android, ICU и наших собственных проверок, — дает для тех же чисел. Вот таблица и описание того, как мы её проверяли.
Заголовок для каждого языка, для которого в CLDR есть правила множественного числа, и проверка для ваших собственных правил — на странице Plural-Forms для каждого языка.
Как мы проверяли
- Все целые числа от 0 до 10 000: собственный модуль gettext в Python вычислял каждую формулу, и выбранный слот должен был содержать форму, которую данные CLDR из Babel 2.18 дают для этого числа. 41 язык совпал; гаитянский креольский — единственное исключение, и оно сознательное (см. ниже).
- Проверка GNU msgfmt --check для файла на каждом из 42 языков, с формой в каждом слоте: ошибок нет.
- Реальный запуск: файл gettext примера приложения, переведенный нашей локальной моделью на девять языков, каждый файл был скомпилирован и прочитан обратно с помощью gettext в Python. Русский показывает «Пропущена 21 привычка», но «Пропущено 22 привычки», румынский — «21 de obiceiuri», но «101 obiceiuri», а в арабском все шесть его форм на своих местах.
Где старые данные расходились
Сначала мы проверяли по Babel 2.10, который содержит CLDR 41 от 2022 года. Три языка дали другие результаты, и в каждом случае более новые данные и сам язык согласуются с таблицей:
- Румынский: CLDR 41 относит 101 к 20 и 100, которые требуют «de» («100 de zile»); текущий CLDR относит его к 2–19, которые не требуют. Наша модель написала «101 obiceiuri ratate», без «de».
- Иврит: в CLDR 41 еще была форма «many» для 20, 30, 40 и так далее. Позднее CLDR убрал её, поэтому в иврите три слота: один, два и другие.
- Гаитянский креольский вообще не был в тех данных. Текущий CLDR дает ему две формы: одну для 0 и 1 и другую для остальных, но существительные в гаитянском креольском не изменяются по числу («1 liv», «2 liv»), поэтому мы оставили один слот, как это делает Polyglot в других форматах.
Что содержат слоты
- Русский, украинский и польский имеют три слота, и третий — это форма «many» из CLDR (0, 5–20, 25…), а не «other»: «other» используется только для дробей. В польском «one» — это только 1; 21 относится к «many».
- Чешский и словацкий: их форма «many» используется только для дробных чисел, поэтому третья ячейка — «other».
- Испанский, французский, итальянский и португальский имеют форму «many» для точных миллионов; два слота gettext не позволяют их различить, поэтому используется «other».
- Французский, португальский, персидский, армянский, амхарский, каннада и панджаби используют «one» также для 0, поэтому
plural=(n > 1).
Таблица
| Язык | gettext | Формы множественного числа | msgstr[0], [1]… |
|---|---|---|---|
| Амхарский | am | nplurals=2; plural=(n > 1); | one, other |
| Арабский | ar | nplurals=6; plural=(n == 0) ? 0 : ((n == 1) ? 1 : ((n == 2) ? 2 : ((n % 100 >= 3 && n % 100 <= 10) ? 3 : ((n % 100 >= 11) ? 4 : 5)))); | zero, one, two, few, many, other |
| Армянский | hy | nplurals=2; plural=(n > 1); | one, other |
| Болгарский | bg | nplurals=2; plural=(n != 1); | one, other |
| Китайский (упрощенный) | zh_CN | nplurals=1; plural=0; | other |
| Китайский (традиционный) | zh_TW | nplurals=1; plural=0; | other |
| Чешский | cs | nplurals=3; plural=(n == 1) ? 0 : ((n >= 2 && n <= 4) ? 1 : 2); | one, few, other |
| Нидерландский | nl | nplurals=2; plural=(n != 1); | one, other |
| Филиппинский | fil | nplurals=2; plural=(n != 1 && n != 2 && n != 3 && (n % 10 == 4 || n % 10 == 6 || n % 10 == 9)); | one, other |
| Финский | fi | nplurals=2; plural=(n != 1); | one, other |
| Французский | fr | nplurals=2; plural=(n > 1); | one, other |
| Немецкий | de | nplurals=2; plural=(n != 1); | one, other |
| Греческий | el | nplurals=2; plural=(n != 1); | one, other |
| Гаитянский креольский | ht | nplurals=1; plural=0; | other |
| Иврит | he | nplurals=3; plural=(n == 1) ? 0 : ((n == 2) ? 1 : 2); | one, two, other |
| Венгерский | hu | nplurals=2; plural=(n != 1); | one, other |
| Индонезийский | id | nplurals=1; plural=0; | other |
| Итальянский | it | nplurals=2; plural=(n != 1); | one, other |
| Японский | ja | nplurals=1; plural=0; | other |
| Каннада | kn | nplurals=2; plural=(n > 1); | one, other |
| Кхмерский | km | nplurals=1; plural=0; | other |
| Корейский | ko | nplurals=1; plural=0; | other |
| Македонский | mk | nplurals=2; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : 1; | one, other |
| Малайский | ms | nplurals=1; plural=0; | other |
| Норвежский букмол | nb | nplurals=2; plural=(n != 1); | one, other |
| Оромо | om | nplurals=2; plural=(n != 1); | one, other |
| Персидский | fa | nplurals=2; plural=(n > 1); | one, other |
| Польский | pl | nplurals=3; plural=(n == 1) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| Португальский (Бразилия) | pt_BR | nplurals=2; plural=(n > 1); | one, other |
| Панджаби | pa | nplurals=2; plural=(n > 1); | one, other |
| Румынский | ro | nplurals=3; plural=(n == 1) ? 0 : ((n == 0 || n % 100 >= 1 && n % 100 <= 19) ? 1 : 2); | one, few, other |
| Русский | ru | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| Шотландский гэльский | gd | nplurals=4; plural=(n == 1 || n == 11) ? 0 : ((n == 2 || n == 12) ? 1 : ((n > 2 && n < 20) ? 2 : 3)); | one, two, few, other |
| Сербский (кириллица) | sr | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, other |
| Словацкий | sk | nplurals=3; plural=(n == 1) ? 0 : ((n >= 2 && n <= 4) ? 1 : 2); | one, few, other |
| Словенский | sl | nplurals=4; plural=(n % 100 == 1) ? 0 : ((n % 100 == 2) ? 1 : ((n % 100 == 3 || n % 100 == 4) ? 2 : 3)); | one, two, few, other |
| Испанский | es | nplurals=2; plural=(n != 1); | one, other |
| Шведский | sv | nplurals=2; plural=(n != 1); | one, other |
| Тайский | th | nplurals=1; plural=0; | other |
| Турецкий | tr | nplurals=2; plural=(n != 1); | one, other |
| Украинский | uk | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| Вьетнамский | vi | nplurals=1; plural=0; | other |
Что выявил реальный запуск
Формы для нуля и двух в арабском языке поначалу отклонялись из-за отсутствия %(n)s. Форма для единственного числа может его не содержать, а арабская двойственная форма сама по себе означает «два», но наша проверка знала только %d и {count} как обозначения числа. Теперь она знает и %(n)s, и %(count)d из Python, что также означает отклонение русской формы «один» без числа, так как в русском языке «один» — это также 21 и 31. В том же запуске наша модель проверяла свои переводы на смысловую точность и обнаружила, что чешское «Unsubscribe» было переведено как «выйти».
Где это находится
Polyglot 1.4.0 записывает эти заголовки в каждый создаваемый .po-файл и помещает каждую форму в соответствующий слот. Почему форма, используемая для нескольких чисел, должна показывать число, объясняется в предыдущей заметке, а сами проверки доступны бесплатно в translation-checks, которая с версии 1.3.0 также читает уже имеющийся у вас .po-файл и сообщает, когда его Plural-Forms помещает числа в один слот, которому CLDR дает разные формы.