1,082개 번역에서 잘못된 알파벳의 단어가 발견되었습니다. 하지만 모든 항목이 검사를 통과했습니다.

언어

10월 31일, 운영 중인 사이트 중 하나에서 헝가리어 문장 중간에 중국어 단어가 섞여 있는 것을 발견했습니다. 운영 중인 모든 사이트의 저장된 번역을 검색하여 해당 언어에 속하지 않는 문자를 찾았고, 그와 유사한 번역 1,082건을 발견했습니다. 그중 581건은 이미 게시된 페이지에 있었습니다. 이 모든 항목이 검사를 통과했습니다.

발견된 내용

이 문제는 모두 사이트 번역을 수행하는 로컬 모델이 작성한 것이며, 모두 동일한 실수입니다. 다른 언어의 단어가 한두 개 섞여 있는 것입니다. 저장된 번역과 그 이후 거부된 번역에서 확인된 내용은 다음과 같습니다.

저희 스토어에도 이러한 줄이 7개 있었습니다. 그중 하나는 "planted values"가 루마니아어에서 "valori植入"로 번역되었습니다.

검사를 통과한 이유

문자 체계 검사는 번역된 텍스트의 문자 중 최소 45%가 해당 언어의 문자 체계에 속하는지 확인했습니다. 이 검사는 원래 영어가 그대로 남아 있는 경우를 잡아내기 위해 만들어졌습니다. 100자 길이의 헝가리어 문장에 중국어 문자 두 개가 섞여 있어도 비율은 변하지 않으며, 키릴 문자 한 개는 비율을 거의 변화시키지 않습니다.

짧은 텍스트에는 다른 규칙이 적용되었습니다. 영어 25자 미만인 경우, 검사는 답변이 영어로 남아 있지 않은지 확인하기만 했습니다. 태국어로 작성된 크메르어 표 셀에는 영어가 전혀 없으므로 검사를 통과했습니다.

이 문제를 잡아내는 규칙

해당 언어가 사용하지 않는 문자 체계에 속하면서 영어 원문에 포함되지 않은 문자는 오류입니다. 다음 세 가지 예외를 두어 규칙이 과도하게 작동하지 않도록 합니다:

저희 사이트에 저장된 모든 데이터를 대상으로 규칙을 적용했으며, 규칙이 표시한 문장 중 저희가 직접 확인한 모든 문장이 오류였습니다. 10월 31일 이후 번역 생성 시 1,652건의 번역이 거부되었으며, 그중 1,549건은 크메르어였습니다. 모델이 크메르어에 태국어를 계속 작성하는 현상은 사라지지 않았지만, 이제 게시되는 대신 다시 요청됩니다.

정리 작업

저장된 번역은 해당 언어가 다시 번역될 때만 재검사되므로, 영향을 받은 모든 언어를 다시 번역했습니다. 11개 사이트에 걸쳐 총 61개 언어를 다시 번역했습니다. 두 문장은 두 번째 시도에서도 동일한 오류로 돌아왔습니다. 루마니아어 "valori植入"와 중국어 "面向"가 포함된 그리스어 문장이었습니다. 이 두 문장은 직접 작성했습니다. 11월 2일 기준, 저희의 게시된 페이지 어디에도 다른 문자 체계의 문자는 없었습니다.

규칙의 현재 위치

규칙은 GitHub에서 무료로 공개된 translation-checks 1.1.0에 있으며, 모든 숫자가 올바르게 반영되는지 확인하고 일본어에서 "3 million"이 300万인지 인식하는 새로운 검사와 함께 제공됩니다. 저희 사이트의 승인된 번역 568,574건을 대상으로 새로운 검사를 실행했으나 오탐지는 발생하지 않았습니다. Polyglot 1.1.0에도 이 검사들이 포함되어 있습니다. 저희 검사가 문제가 된 첫 사례는 이전 노트에 있습니다.

업데이트됨: