gettext Plural-Forms для 42 мов, перевірені по числах за даними CLDR
Мови
Запис множини gettext зберігає форми в пронумерованих слотах, msgstr[0], msgstr[1] тощо, а рядок Plural-Forms у заголовку файлу — це невелика формула на C, яка вибирає слот для числа. Для Polyglot 1.4.0 нам потрібна була ця формула для всіх 42 мов, на які він перекладає, і кожен слот мав містити форму, яку дані CLDR — основа множини в Android, ICU та наших власних перевірках — надають тим самим числам. Ось таблиця та опис того, як ми її перевірили.
Заголовок для кожної мови, для якої в CLDR є правила множини, а також перевірка для власних правил, наведені на сторінці Plural-Forms для всіх мов.
Як ми це перевірили
- Кожне ціле число від 0 до 10 000: власний gettext у Python обчислював кожну формулу, і слот, який він обирав, мав містити форму, яку дані CLDR із Babel 2.18 надають цьому числу. 41 мова збіглася; гаїтянська креольська — єдиний виняток, і свідомий (див. нижче).
- GNU msgfmt --check для файлу кожною з 42 мов, з формою в кожному слоті: без помилок.
- Реальний запуск: файл gettext прикладу додатка, перекладений нашою локальною моделлю на дев’ять мов, кожен файл скомпільований і прочитаний назад за допомогою gettext у Python. Російська показує «Пропущена 21 привычка», але «Пропущено 22 привычки», румунська — «21 de obiceiuri», але «101 obiceiuri», а в арабській усі шість її форм на своїх місцях.
Де старіші дані не збігалися
Спочатку ми перевіряли за Babel 2.10, який містить CLDR 41 від 2022 року. Три мови дали відмінні результати, і в кожному випадку новіші дані та сама мова збігаються з таблицею:
- Румунська: CLDR 41 відносить 101 до 20 та 100, які вимагають «de» («100 de zile»); поточний CLDR відносить його до 2–19, які не вимагають. Наша модель написала «101 obiceiuri ratate», без «de».
- Іврит: CLDR 41 ще мав форму «many» для 20, 30, 40 тощо. Пізніші версії CLDR її прибрали, тому в івриті три слоти: один, два та інші.
- Гаїтянська креольська взагалі не була в тих даних. Поточний CLDR надає їй дві форми: одну для 0 і 1 та іншу для решти, але іменники в гаїтянській креольській не змінюються за числом («1 liv», «2 liv»), тому ми залишили один слот, як робить Polyglot в інших форматах.
Що містять слоти
- Російська, українська та польська мають три слоти, і третій — це «many» за CLDR (0, 5–20, 25…), а не «other»: «other» призначений лише для дробів. Польська «one» — це лише 1; 21 — це «many».
- Чеська та словацька: їхня форма «many» використовується лише для дробів, тому третя комірка — «other».
- Іспанська, французька, італійська та португальська мають форму «many» для точних мільйонів; gettext із двома комірками не може їх розрізнити, тому вони використовують «other».
- Французька, португальська, перська, вірменська, амхарська, каннада та пенджабська використовують «one» також для 0, тому
plural=(n > 1).
Таблиця
| Мова | gettext | Форми множини | msgstr[0], [1]… |
|---|---|---|---|
| Амхарська | am | nplurals=2; plural=(n > 1); | one, other |
| Арабська | ar | nplurals=6; plural=(n == 0) ? 0 : ((n == 1) ? 1 : ((n == 2) ? 2 : ((n % 100 >= 3 && n % 100 <= 10) ? 3 : ((n % 100 >= 11) ? 4 : 5)))); | zero, one, two, few, many, other |
| Вірменська | hy | nplurals=2; plural=(n > 1); | one, other |
| Болгарська | bg | nplurals=2; plural=(n != 1); | one, other |
| Китайська (спрощена) | zh_CN | nplurals=1; plural=0; | other |
| Китайська (традиційна) | zh_TW | nplurals=1; plural=0; | other |
| Чеська | cs | nplurals=3; plural=(n == 1) ? 0 : ((n >= 2 && n <= 4) ? 1 : 2); | one, few, other |
| Нідерландська | nl | nplurals=2; plural=(n != 1); | one, other |
| Філіппінська | fil | nplurals=2; plural=(n != 1 && n != 2 && n != 3 && (n % 10 == 4 || n % 10 == 6 || n % 10 == 9)); | one, other |
| Фінська | fi | nplurals=2; plural=(n != 1); | one, other |
| Французька | fr | nplurals=2; plural=(n > 1); | one, other |
| Німецька | de | nplurals=2; plural=(n != 1); | one, other |
| Грецька | el | nplurals=2; plural=(n != 1); | one, other |
| Гаїтянська креольська | ht | nplurals=1; plural=0; | other |
| Іврит | he | nplurals=3; plural=(n == 1) ? 0 : ((n == 2) ? 1 : 2); | one, two, other |
| Угорська | hu | nplurals=2; plural=(n != 1); | one, other |
| Індонезійська | id | nplurals=1; plural=0; | other |
| Італійська | it | nplurals=2; plural=(n != 1); | one, other |
| Японська | ja | nplurals=1; plural=0; | other |
| Каннада | kn | nplurals=2; plural=(n > 1); | one, other |
| Кхмерська | km | nplurals=1; plural=0; | other |
| Корейська | ko | nplurals=1; plural=0; | other |
| Македонська | mk | nplurals=2; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : 1; | one, other |
| Малайська | ms | nplurals=1; plural=0; | other |
| Норвезька букмол | nb | nplurals=2; plural=(n != 1); | one, other |
| Оromo | om | nplurals=2; plural=(n != 1); | one, other |
| Перська | fa | nplurals=2; plural=(n > 1); | one, other |
| Польська | pl | nplurals=3; plural=(n == 1) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| Португальська (Бразилія) | pt_BR | nplurals=2; plural=(n > 1); | one, other |
| Пенджабська | pa | nplurals=2; plural=(n > 1); | one, other |
| Румунська | ro | nplurals=3; plural=(n == 1) ? 0 : ((n == 0 || n % 100 >= 1 && n % 100 <= 19) ? 1 : 2); | one, few, other |
| Російська | ru | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| Шотландська гельська | gd | nplurals=4; plural=(n == 1 || n == 11) ? 0 : ((n == 2 || n == 12) ? 1 : ((n > 2 && n < 20) ? 2 : 3)); | one, two, few, other |
| Сербська (кирилиця) | sr | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, other |
| Словацька | sk | nplurals=3; plural=(n == 1) ? 0 : ((n >= 2 && n <= 4) ? 1 : 2); | one, few, other |
| Словенська | sl | nplurals=4; plural=(n % 100 == 1) ? 0 : ((n % 100 == 2) ? 1 : ((n % 100 == 3 || n % 100 == 4) ? 2 : 3)); | one, two, few, other |
| Іспанська | es | nplurals=2; plural=(n != 1); | one, other |
| Шведська | sv | nplurals=2; plural=(n != 1); | one, other |
| Тайська | th | nplurals=1; plural=0; | other |
| Турецька | tr | nplurals=2; plural=(n != 1); | one, other |
| Українська | uk | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| В'єтнамська | vi | nplurals=1; plural=0; | other |
Що виявив реальний запуск
Форми для нуля та двох в арабській мові спочатку відхилялися через відсутність %(n)s. Форма для одного числа може його не містити, а арабська подвійна форма сама по собі означає «два», але наша перевірка розпізнавала як лічильник лише %d та {count}. Тепер вона також знає %(n)s та %(count)d з Python, що також означає відхилення російської форми «one» без числа, оскільки в російській «one» також відповідає числам 21 і 31. Під час того самого запуску наша модель читала переклади для перевірки сенсу й виявила, що чеське «Unsubscribe» було перекладено як «log out».
Де це розміщено
Polyglot 1.4.0 записує ці заголовки в кожен файл .po, який створює, і розміщує кожну форму у відповідному слоті. Чому форма, що використовується для кількох чисел, повинна містити число, пояснюється в попередній нотатці, а самі перевірки безкоштовні в translation-checks, який з версії 1.3.0 також читає наявний у вас файл .po й повідомляє, коли його Plural-Forms розміщує числа в одному слоті, хоча CLDR надає їм різні форми.