1,082개 번역에서 잘못된 알파벳의 단어가 발견되었습니다. 하지만 모든 항목이 검사를 통과했습니다.
언어
10월 31일, 운영 중인 사이트 중 하나에서 헝가리어 문장 중간에 중국어 단어가 섞여 있는 것을 발견했습니다. 운영 중인 모든 사이트의 저장된 번역을 검색하여 해당 언어에 속하지 않는 문자를 찾았고, 그와 유사한 번역 1,082건을 발견했습니다. 그중 581건은 이미 게시된 페이지에 있었습니다. 이 모든 항목이 검사를 통과했습니다.
발견된 내용
이 문제는 모두 사이트 번역을 수행하는 로컬 모델이 작성한 것이며, 모두 동일한 실수입니다. 다른 언어의 단어가 한두 개 섞여 있는 것입니다. 저장된 번역과 그 이후 거부된 번역에서 확인된 내용은 다음과 같습니다.
- 다른 언어 안에 섞인 중국어: 태국어 문장 중간에 "they are"가 它们是로 번역되었습니다. 헝가리어에서 "track"의 중국어인 跟踪에 헝가리어 어미가 붙었습니다("támadók跟踪ására"). 폴란드어와 그리스어에서도 유사한 단어가 발견되었습니다.
- 그리스어, 아르메니아어, 히브리어, 슬로베니아어 안에 섞인 러시아어: 그리스어에서 "full house"가 "φουλ хаус"로 번역되었는데, 두 번째 단어가 키릴 문자였습니다.
- 비슷해 보이는 문자: 핀란드어나 체코어 단어 끝에 키릴 문자 "о"나 "а"가 사용되었습니다. 페이지를 읽는 사람은 알아채지 못하겠지만, 검색 엔진이나 스크린 리더는 이를 감지합니다.
- 인접한 문자 체계: 칸나다어 단어 안에 벵골어 문자가, 칸나다어 안에 데바나가리 문자가 섞여 있었습니다.
- 크메르어 페이지에 쓰인 태국어 전체 줄: 두 사이트의 크메르어 페이지에 있는 제목, 레이블, 표 셀이 단순히 태국어로 작성되어 있었습니다.
저희 스토어에도 이러한 줄이 7개 있었습니다. 그중 하나는 "planted values"가 루마니아어에서 "valori植入"로 번역되었습니다.
검사를 통과한 이유
문자 체계 검사는 번역된 텍스트의 문자 중 최소 45%가 해당 언어의 문자 체계에 속하는지 확인했습니다. 이 검사는 원래 영어가 그대로 남아 있는 경우를 잡아내기 위해 만들어졌습니다. 100자 길이의 헝가리어 문장에 중국어 문자 두 개가 섞여 있어도 비율은 변하지 않으며, 키릴 문자 한 개는 비율을 거의 변화시키지 않습니다.
짧은 텍스트에는 다른 규칙이 적용되었습니다. 영어 25자 미만인 경우, 검사는 답변이 영어로 남아 있지 않은지 확인하기만 했습니다. 태국어로 작성된 크메르어 표 셀에는 영어가 전혀 없으므로 검사를 통과했습니다.
이 문제를 잡아내는 규칙
해당 언어가 사용하지 않는 문자 체계에 속하면서 영어 원문에 포함되지 않은 문자는 오류입니다. 다음 세 가지 예외를 두어 규칙이 과도하게 작동하지 않도록 합니다:
- 라틴 문자는 항상 허용됩니다. 브랜드명, 코드, 단위는 모든 언어에 등장합니다.
- 중국어, 일본어, 한국어는 검사하지 않습니다. 일본어는 가나와 한자가 섞여 있고 한국어는 한자를 사용할 수 있기 때문입니다.
- 두 가지 문자 체계로 표기되는 세르비아어와 펀자브어는 중국어, 일본어, 한국어 문자가 포함되었는지만 검사합니다.
저희 사이트에 저장된 모든 데이터를 대상으로 규칙을 적용했으며, 규칙이 표시한 문장 중 저희가 직접 확인한 모든 문장이 오류였습니다. 10월 31일 이후 번역 생성 시 1,652건의 번역이 거부되었으며, 그중 1,549건은 크메르어였습니다. 모델이 크메르어에 태국어를 계속 작성하는 현상은 사라지지 않았지만, 이제 게시되는 대신 다시 요청됩니다.
정리 작업
저장된 번역은 해당 언어가 다시 번역될 때만 재검사되므로, 영향을 받은 모든 언어를 다시 번역했습니다. 11개 사이트에 걸쳐 총 61개 언어를 다시 번역했습니다. 두 문장은 두 번째 시도에서도 동일한 오류로 돌아왔습니다. 루마니아어 "valori植入"와 중국어 "面向"가 포함된 그리스어 문장이었습니다. 이 두 문장은 직접 작성했습니다. 11월 2일 기준, 저희의 게시된 페이지 어디에도 다른 문자 체계의 문자는 없었습니다.
규칙의 현재 위치
규칙은 GitHub에서 무료로 공개된 translation-checks 1.1.0에 있으며, 모든 숫자가 올바르게 반영되는지 확인하고 일본어에서 "3 million"이 300万인지 인식하는 새로운 검사와 함께 제공됩니다. 저희 사이트의 승인된 번역 568,574건을 대상으로 새로운 검사를 실행했으나 오탐지는 발생하지 않았습니다. Polyglot 1.1.0에도 이 검사들이 포함되어 있습니다. 저희 검사가 문제가 된 첫 사례는 이전 노트에 있습니다.