42言語のgettext Plural-Forms、CLDRと照合し番号ごとに検証済み
言語
gettextの複数形エントリは、msgstr[0]、msgstr[1]といった番号付きスロットに各形を保持し、ファイルヘッダーのPlural-Forms行は、数値に対応するスロットを選択する小さなC言語の式です。Polyglot 1.4.0では、翻訳対象の全42言語についてこの式が必要であり、各スロットには、Android、ICU、および当社の検証の基となる複数形データであるCLDRが同じ数値に対して提供する形が入っていなければなりませんでした。以下にその表と、検証方法を示します。
CLDRで複数形ルールが定義されているすべての言語のヘッダーと、独自ルール用のチェッカーについては、すべての言語のPlural-Formsをご覧ください。
検証方法
- 0から10,000までのすべての整数: Pythonのgettextで各式を評価し、選択されたスロットには、Babel 2.18のCLDRデータがその数値に対して提供する形が入っている必要がありました。41言語が一致しました。ハイチ・クレオール語は唯一の例外であり、意図的なものです(下記参照)。
- GNU msgfmt --check を42言語それぞれのファイルで実行し、すべてのスロットに形を配置しました。エラーはありませんでした。
- 実際の動作: サンプルアプリのgettextファイルを、当社のローカルモデルで9言語に翻訳し、各ファイルをコンパイルしてPythonのgettextで読み戻しました。ロシア語では「Пропущена 21 привычка」ですが「Пропущено 22 привычки」となり、ルーマニア語では「21 de obiceiuri」ですが「101 obiceiuri」となり、アラビア語では6つの形すべてが正しい位置にあります。
古いデータとの不一致
まず、2022年のCLDR 41を搭載したBabel 2.10と照合しました。3言語で結果が異なりましたが、いずれの場合も、新しいデータと言語自体が表と一致しています。
- ルーマニア語: CLDR 41では、101は「de」を伴う20と100(「100 de zile」)と同じ扱いですが、現在のCLDRでは「de」を伴わない2から19と同じ扱いになります。当社のモデルは「de」なしで「101 obiceiuri ratate」と出力しました。
- ヘブライ語: CLDR 41では、20、30、40などに「many」形が残っていましたが、後のCLDRで削除されました。そのため、ヘブライ語にはone、two、otherの3つのスロットがあります。
- ハイチ・クレオール語は、そのデータに含まれていませんでした。現在のCLDRでは、0と1に対する形と、それ以外に対する形の2つの形が定義されていますが、ハイチ・クレオール語の名詞は数によって変化しない(「1 liv」、「2 liv」)ため、Polyglotの他のフォーマットと同様に、単一のスロットを維持しました。
スロットの内容
- ロシア語、ウクライナ語、ポーランド語は3つのスロットを持ち、3番目のスロットはCLDRの「many」(0、5から20、25など)であり、「other」ではありません。「other」は小数専用です。ポーランド語の「one」は1のみで、21は「many」です。
- チェコ語とスロバキア語:「many」は小数にのみ使用されるため、3番目のスロットは「other」になります。
- スペイン語、フランス語、イタリア語、ポルトガル語には、正確な百万単位の「many」形がありますが、gettextの2つのスロットでは区別できないため、「other」を共有します。
- フランス語、ポルトガル語、ペルシア語、アルメニア語、アムハラ語、カンナダ語、パンジャブ語では0にも「one」を使用するため、
plural=(n > 1)となります。
表
| 言語 | gettext | 複数形ルール | msgstr[0], [1]… |
|---|---|---|---|
| アムハラ語 | am | nplurals=2; plural=(n > 1); | one, other |
| アラビア語 | ar | nplurals=6; plural=(n == 0) ? 0 : ((n == 1) ? 1 : ((n == 2) ? 2 : ((n % 100 >= 3 && n % 100 <= 10) ? 3 : ((n % 100 >= 11) ? 4 : 5)))); | zero, one, two, few, many, other |
| アルメニア語 | hy | nplurals=2; plural=(n > 1); | one, other |
| ブルガリア語 | bg | nplurals=2; plural=(n != 1); | one, other |
| 中国語(簡体字) | zh_CN | nplurals=1; plural=0; | other |
| 中国語(繁体字) | zh_TW | nplurals=1; plural=0; | other |
| チェコ語 | cs | nplurals=3; plural=(n == 1) ? 0 : ((n >= 2 && n <= 4) ? 1 : 2); | one, few, other |
| オランダ語 | nl | nplurals=2; plural=(n != 1); | one, other |
| フィリピン語 | fil | nplurals=2; plural=(n != 1 && n != 2 && n != 3 && (n % 10 == 4 || n % 10 == 6 || n % 10 == 9)); | one, other |
| フィンランド語 | fi | nplurals=2; plural=(n != 1); | one, other |
| フランス語 | fr | nplurals=2; plural=(n > 1); | one, other |
| ドイツ語 | de | nplurals=2; plural=(n != 1); | one, other |
| ギリシャ語 | el | nplurals=2; plural=(n != 1); | one, other |
| ハイチ・クレオール語 | ht | nplurals=1; plural=0; | other |
| ヘブライ語 | he | nplurals=3; plural=(n == 1) ? 0 : ((n == 2) ? 1 : 2); | one, two, other |
| ハンガリー語 | hu | nplurals=2; plural=(n != 1); | one, other |
| インドネシア語 | id | nplurals=1; plural=0; | other |
| イタリア語 | it | nplurals=2; plural=(n != 1); | one, other |
| 日本語 | ja | nplurals=1; plural=0; | other |
| カンナダ語 | kn | nplurals=2; plural=(n > 1); | one, other |
| クメール語 | km | nplurals=1; plural=0; | other |
| 韓国語 | ko | nplurals=1; plural=0; | other |
| マケドニア語 | mk | nplurals=2; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : 1; | one, other |
| マレー語 | ms | nplurals=1; plural=0; | other |
| ノルウェー・ブークモール語 | nb | nplurals=2; plural=(n != 1); | one, other |
| オロモ語 | om | nplurals=2; plural=(n != 1); | one, other |
| ペルシア語 | fa | nplurals=2; plural=(n > 1); | one, other |
| ポーランド語 | pl | nplurals=3; plural=(n == 1) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| ポルトガル語(ブラジル) | pt_BR | nplurals=2; plural=(n > 1); | one, other |
| パンジャーブ語 | pa | nplurals=2; plural=(n > 1); | one, other |
| ルーマニア語 | ro | nplurals=3; plural=(n == 1) ? 0 : ((n == 0 || n % 100 >= 1 && n % 100 <= 19) ? 1 : 2); | one, few, other |
| ロシア語 | ru | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| スコットランド・ゲール語 | gd | nplurals=4; plural=(n == 1 || n == 11) ? 0 : ((n == 2 || n == 12) ? 1 : ((n > 2 && n < 20) ? 2 : 3)); | one, two, few, other |
| セルビア語(キリル文字) | sr | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, other |
| スロバキア語 | sk | nplurals=3; plural=(n == 1) ? 0 : ((n >= 2 && n <= 4) ? 1 : 2); | one, few, other |
| スロベニア語 | sl | nplurals=4; plural=(n % 100 == 1) ? 0 : ((n % 100 == 2) ? 1 : ((n % 100 == 3 || n % 100 == 4) ? 2 : 3)); | one, two, few, other |
| スペイン語 | es | nplurals=2; plural=(n != 1); | one, other |
| スウェーデン語 | sv | nplurals=2; plural=(n != 1); | one, other |
| タイ語 | th | nplurals=1; plural=0; | other |
| トルコ語 | tr | nplurals=2; plural=(n != 1); | one, other |
| ウクライナ語 | uk | nplurals=3; plural=(n % 10 == 1 && n % 100 != 11) ? 0 : ((n % 10 >= 2 && n % 10 <= 4 && (n % 100 < 12 || n % 100 > 14)) ? 1 : 2); | one, few, many |
| ベトナム語 | vi | nplurals=1; plural=0; | other |
実際の処理で判明した内容
アラビア語のゼロ形と2形は、当初 %(n)s が含まれていないため拒否されました。単一の数を表す形であれば省略できますが、アラビア語の双数形はそれ自体で「2つ」を意味します。しかし、当社のチェック機能は %d と {count} しか数を認識していませんでした。現在は Python の %(n)s と %(count)d も認識するようになり、これは数字なしのロシア語「one」も拒否されることを意味します。ロシア語の「one」は 21 や 31 も含まれるためです。同じ処理では、モデルが翻訳の意味を読み取り、チェコ語の「Unsubscribe」が「ログアウト」と誤って書かれているのを検出しました。
実装場所
Polyglot 1.4.0 は、生成するすべての .po ファイルにこれらのヘッダーを書き込み、各形を適切なスロットに配置します。複数の数に使用される形に数字を表示する必要がある理由については、以前のノートを参照してください。チェック機能自体は translation-checks で無料で利用できます。1.3.0 以降では、既存の .po ファイルを読み取り、CLDR が異なる形を割り当てる数を 1 つのスロットにまとめる Plural-Forms を検出します。