百度机器翻译

机器翻译科普如何评估机器翻译和译后编辑质量？

本⽂来⾃RWS对⾼级解决⽅案架构师MiklósUrbán的采访。

⼀、机器翻译质量⾃动评估指标

对机器翻译进⾏质量评估是提⾼机器翻译质量的关键。但是，衡量机器翻译(MT)质量的最佳指标是什么呢？

衡量机器翻译(MT)质量的⽅法有两种类型：⼈⼯评估和⾃动评估。⼈⼯综合评估往往是最有效的解决⽅案,但也主观性

强、耗时长、花费⾼昂。因此，⾏业学者引⼊了标准的、⾃动的指标来衡量MT的表现。许多研究表明，这些指标产出

的结果甚⾄能和⼈⼯评估相差⽆⼏。

随着神经机器翻译(NMT)的出现，对数据驱动的MT质量量化⽅法的需求不断增长。NMT的输出特性明显不同于统计机

器翻译(SMT)，因此研究⼈员正在寻找新的指标，以便更可靠地评估神经机器翻译的质量。

指标⼀：BLEU

BLEU评分是业内第⼀个常⽤的评估指标，其原理是⽐较机器翻译和⼈⼯翻译。假设⼀个⽂档由⼈⼯翻译⼀次，由机器

翻译⼀次，BLEU的值为同时出现在机器翻译和⼈⼯翻译中的单词的⽐例。

BLEU在10到15年前普及时，⼈们都认为这种⽅法和⼈⼯的质量评估最为相似。该⽅法⼴为应⽤，尽管有着众所周知的

局限性。例如，它不能很好地处理同义词或语法上的单词变化，⽽且也⾮常不平衡，因为只进⾏从机器翻译到⼈⼯翻译

⼀个⽅向的⽐较。

指标⼆：METEOR

METEOR的算法更加细致，因为它不仅双向⽐较了机器翻译和⼈⼯翻译，⽽且还考虑到了语⾔语法等因素。与BLEU不

同，METEOR考虑到了语⾔的变化性。在英语中，ride或riding在BLEU⽅法中算作不同的词，但在METEOR中它们

算作同⼀个单词，因为词根相同。

⼆、译后编辑质量⾃动评估指标

评估译后编辑的重要部分是⽐较机器翻译译⽂和译后编辑译⽂的差异，⽤的指标是改动的数量，其中改动包括删减、替

换和增加单词。通过⼀个公式，计算改动的数量，并给出⼀个数值结果。

那么，常⽤的评估译后编辑⼿段有哪些呢？

LevenshteinDistance算法（编辑距离算法）

LevenshteinDistance算法（编辑距离算法）可计算机器翻译译⽂和译后编辑译⽂的差别。举个例⼦，如果机器翻译输

出是“thecatisbarking”，译后编辑将其修改为“thedogisbarking”。那么差异值是6，因为从“cat”改到“dog”，删掉了3个

字母、增加了3个字母，然后⽤整个部分的字母数除以6，得到⼀个百分⽐的结果。

TER(TranslationEditRate)

TER⽅法与“编辑距离算法”的不同在于，“编辑距离算法”计算字符级别的变化数量（即字符的增删、替换），⽽TER⽅

法基于编辑的次数、⽽⾮基于字符变化的数量，计算译⽂变化的类型。

在“thecatisbarking”与“thedogisbarking”的例⼦中，“编辑距离算法”既计算了被删的3个字符，也计⼊了增加的3个字

符；⽽TER只识别出⼀处替换：也就是⼀个字符串被另⼀个字符串替换，这个字符串有三个长度。因此，它计⼊⼀次长

度为三个字符的编辑。

因此，在实际上只进⾏了⼀次长编辑的情况下，Levenshtein实际上可能⾼估译后编辑的幅度——例如，如果你在长句

的各处替换⼀两个字符，Levenshtein不能分辨出这种编辑与重写整个句⼦之间的差异。在这种情况下，TER更可靠，

因为它的逻辑更符合实际的译后编辑。

三、机器翻译的质量评估：⼈⼯评估还是⾃动评估？

三、机器翻译的质量评估：⼈⼯评估还是⾃动评估？

⾃动化评估的⽬的是模仿⼈⼯评估的结果。但最终，⾃动化评估只能显⽰机器翻译与⼈⼯翻译或编辑后翻译之间差异的

百分⽐。

相反，⼈⼯评估可以更加精细，⼈类可以给出更详细的机器翻译质量概述。我们通常使⽤TAUSDQF基准来指导⼈⼯

评估，在此过程中，我们可以更好地了解语⾔质量的不同⽅⾯，⽐如准确性（信息传递的好坏）和流畅性（拼写和语

法），⽽⾃动化度量返回的单个数字更容易准确性⾼。

流畅度更难衡量，因为语⾔的流畅度是主观的。但是，我们可以通过开发⾃动化的指标，检测同时出现的单词词组，即

n-grams（其中“n”代表连续出现的单词的数量）。理论上，机器翻译和⼈类翻译中出现的相同词序的词组越长，机器

翻译译⽂就越流畅。

本⽂转载⾃：机器翻译观察公众号

编辑：丁⽻翔

…………………………………………………………………………………………………………

往期精彩回顾

实践答疑|什么是机器翻译译后编辑？如何提⾼MTPE的效率？

技术洞察|翻译技术的原理及其发展内驱⼒

专访|曹⾸光：如何打造⼀款受欢迎的机器翻译产品？

专访|王华树：机器翻译将要取代⼈⼯翻译吗？

如需更深⼊学习，可关注微信公众号“翻译技术教育与研究”“语⾔服务⾏业”，留⾔交流。