收稿日期：２０２０－０４－１２
基金项目：２０１８年度教育部人文社会科学研究青年基金项目“普通话二语塞擦音感知的实验研究”（１８ＹＪＣ７４０１１２）作者简介：吴菲（１９８１－），女，江苏南京人，副教授，博士，
主要从事第二语言习得和音系学研究。
欧盟多语平行语料库的发掘和分析
吴 菲
（上海外国语大学英语学院，上海２０００８３）
失去记忆
摘要：自建不同类型的语库耗时耗力，多涉及汉语和某一欧洲语言，涉及的语种也不超过十种，平行语库更是寥寥。搜集、整理、比对近年来欧洲委员会发布的涉及２０种以上语言的语库，分析其统一格式和翻译对齐后的特性、异同、比较方法和使用条件等，为广大语言和翻译研究者更为迅速有效地进行多语、跨语语料收集和统计分析提供参考。
关键词：平行语库；多语；翻译记忆；翻译单元（ＴＵ）
中图分类号：Ｈ７ 文献标识码：Ａ 文章编号：１６７１－５３６５（２０２１）０２－００８０－０９ＤＯＩ：１０．１９５０４／ｊ．ｃｎｋｉ．ｉｓｓｎ１６７１－５３６５．２０２１．０２．０１０
近年来，欧盟发布了一系列大型多语（２２～２６种语言）平行语言资源，可以在联合研究中心①（ＪｏｉｎｔＲｅｓｅａｒｃｈＣｅｎｔｅｒ，简称ＪＲＣ）的网页上免费获取，包括
全文本语库ＪＲＣ－Ａｃｑｕｉｓ②［１］２１４２－２１４７、ＤＧＴ③－Ａｃ ｑｕｉｓ
、ＤＣＥＰ④［
２］，翻译记忆（ｔｒａｎｓｌａｔｉｏｎｍｅｍｏｒｙ，简称ＴＭ）ＤＧＴ－ＴＭ［３］４５４－４５９、ＥＣＤＣ⑤－ＴＭ、ＥＡＣ⑥
－ＴＭ，以及文档集与多层归类软件ＪＥＸ⑦［４］。
ＪＲＣ是欧洲委员会（ＥｕｒｏｐｅａｎＣｏｍｍｉｓｓｉｏｎ，简称ＥＣ）的一个内部科学机构，其职责之一是作为支持技术（语言技术）为所有正式的ＥＵ语言（目前有２４种⑧）进行媒体监管、开发文本、采掘应用。ＪＲＣ通过使用ＥＵ的平行文本集建立了多语资源，这也是ＪＲＣ储备和使用句对齐平行语库的初始动机。
一、 资源优势
尽管存在更多种语言的个体平行语库，如
《圣经》［５］《人权宣言》，或ＧｅｏｒｇｅＯｒｗｅｌｌ的小说《１９８４》［６］，但并没有其他更大的平行语库涉及２０种以上的语言。一般大型语库涉及的语言都有大量的本族语者，如英语、法语、西班牙语和汉语，记录了完备的语言和这些语言的语对。除这几种高度发达的语言之外，某些语种的平行资源十分稀缺，如立陶宛语、拉脱维亚语、爱沙尼亚语、匈牙利语、马耳他语和捷克语。即便研究者找到了这些语言比对英语的平行语库，也很难找到使用语对的平行语库（如爱沙尼亚语－马耳他语或拉脱维亚语－希腊语）。因而，我们认为，ＥＵ语库的最大贡献在于平衡了以英语为中心的语库研究领域。Ｋｏｅｈｎ等［７］６５－７２则进一步认为，仅基于ＥＵ文本建立的机器翻译（ＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎ，简称ＭＴ）系统已经能够产出较有说服力的研究成果。
此外，涉及各个领域的ＥＵ语库还囊括了一些高度专业词汇，如ＴＡＲＩＣ⑧包括“多语产品清单”及其类型细分，可在报关时使用；文档可根据ＥｕｒｏＶｏｃ词典进行手动分类：ＥｕｒｏＶｏｃ涉及了欧洲机构紧密关注的６０００多门类的内容，允许研究者据主题域编码检索每一类文档，即萃取每一领域的专业词汇。
二、 平行语库的使用方法和特点
经过研究和整理，将这七个ＥＵ语库的特征归纳于表１。
表１ 七个ＥＵ语库的特征比对
ＪＲＣ－ＡｃｑｕｉｓＤＧＴ－ＡｃｑｕｉｓＤＣＥＰＤＧＴ－ＴＭＥＣＤＣ－ＴＭＥＡＣ－ＴＭＪＥＸ数据首发时间２００６年５月２０１２年１２月２０１４年２００７年１１月２０１２年１０月２０１３年１月２０１２年５月更新时间２００９年２月－－２０１３年４月－－－
未来是否会
更新
否是是是（每年）否－否
收集文档时课题来源
间（含更新）
１９５８－２００９２００４－２０１１２００１－２０１２－２０１２年至今２００８－２０１２１９５２－２０１１
对齐单位句对齐全文段落对齐
全文
全文
ＴＭ
（句子，ＴＵ）
ＴＭ
（句子，ＴＵ）
ＴＭ
（句子，ＴＵ）
全文
对齐语对所有所有所有所有（以英
语为中心
语）
所有（以英
语为中心
语）
所有（以英
语为中心
语）
所有
对齐方式Ｖａｎｉｌｌａ＋
手撕白菜ＨｕｎＡｌｉｇｎ
内部系统
（ＤＧＴ＋
Ｐｒｏｍｐｓｉｔ）
手动（仅为
文档层）
内部系统
（ＤＧＴ）
手动（ＴＭ）手动（ＴＭ）
手动（仅为
文档层）
格式
ＴＥＩ⑩
小儿疫苗接种口诀（ＸＭＬ） 瑏瑡
Ｍｕｓｅｔ 瑏瑢、
Ｆｏｒｍｅｘ－４
（ＸＭＬ）、
ＴＩＦＦ 瑏瑣、纯文本
ＳＧＭＬ 瑏瑤，
ＸＭＬ和纯文
本
ＴＭＸ 瑏瑥
（ＸＭＬ）
ＴＭＸ（ＸＭＬ）ＴＭＸ（ＸＭＬ）
ＪＥＸ压缩格
式（纯文本）
文字组ＵＴＦ－８ＵＴＦ－８ＵＴＦ－８ＵＴＦ－１６（小
端存储格式）
ＵＴＦ－８ＵＴＦ－８ＵＴＦ－８
语言２２２３２３２３２２＋ＩＳ＋ＮＯ２２＋ＨＲ＋ＩＳ＋
ＮＢ／ＮＯ＋ＴＲ
２２
宜宾学院学报 ２０２１年２期（第２１卷）
续表
ＪＲＣ－ＡｃｑｕｉｓＤＧＴ－ＡｃｑｕｉｓＤＣＥＰＤＧＴ－ＴＭＥＣＤＣ－ＴＭＥＡＣ－ＴＭＪＥＸ数据语对数量２３１２５３２５３２５３３００３２５２３１
源语
不同
（大多是英语）
不同
（大多是英语）
不同
（大多是英语）
不同
（大多是英语）
英语英语
不同
（大多是英语）
英语词数５５５０万９８００万１．０３亿８５２０万２．９万４．５万５９００万总词数１０亿不知１３．７亿１０亿３２万５４万不知
磁盘空间（压缩）３．７ＧＢ
３．８１ＧＢ（４
个文件包）
６ＧＢ３．４ＧＢ３．７ＭＢ３．５ＭＢ１．６ＧＢ
主题域广泛广泛广泛广泛
健康相关话
题（炭疽、霍
乱等），ＥＣＤＣ
的组织和行动
（工作机会、
流行病情报和
商品房预售合同监督）
教育、培训、
文化、青年、
行政
广泛
文本类型法律和行政，
宣言和决议，
协议、草案和
共同纲领
所有ＯＪ 瑏瑦系列
媒体发布、
技术公开、
会议记录、
议会委员会报
告、法律和行
政、口头和书
面问题、会议
日程等
ＯＪＬ系列ＥＣＤＣ网页
经费申请的表
格和参考资料，
终生学习项目
和青年在行动
项目报告
ＯＪＬ系列 瑏瑧，
二级立法
资料创建者ＥＣ－ＪＲＣＥＣ－ＤＧＴＥＰ－ＤＧＴＲＡＤ 瑏瑨ＥＣ－ＤＧＴＥＣＤＣＥＣ－ＥＡＣＥＣ－ＪＲＣ
翻译者ＥＣ专家ＥＣ专家ＥＰ专家ＥＣ专家ＥＣ专家国家机构的
专业人士什么节日放孔明灯
东汉皇帝列表
ＥＣ专家
预加工者ＪＲＣ＋ＲＡＳ 瑏瑩＋
ＢＵＴＥ 瑐瑠
ＤＧＴ和外部
承包商
（Ｐｒｏｍｐｓｉｔ）
ＥＰ－ＤＧＴＲＡＤ
ＤＧＴ
（来自
Ｆｏｒｍｅｘ－４）
ＪＲＣＥＡＣ＋ＪＲＣＪＲＣ
ＣＥＬＥＸ 瑐瑡
新贸易理论文档
有目前没有无有无无有ＥｕｒｏＶｏｃ－
索引
有目前没有无无无无有
（一）ＪＲＣ－Ａｃｑｕｉｓ
ＪＲＣ－Ａｃｑｕｉｓ是ＥＣ发布的第一个句对齐预处理语库。门户网站Ｅｕｒ－Ｌｅｘ许多全文本ＨＴ ＭＬ或ＰＤＦ格式的ＥＵ文档已对公众免费，但数据准备并不充分，无法满足计算语言学用途，即文档还未清晰对齐，文本未切分成句，对齐信息还不可及。ＪＲＣ－Ａｃｑｕｉｓ、ＤＧＴ－Ａｃｑｕｉｓ和ＤＣＥＰ都包含全文本文档，相较ＴＭ集合允许资料的额外使用，但无法获得句子语境。
ＪＲＣ从Ｅｕｒ－Ｌｅｘ网站下载文档，结合内部ＥＵ文档（至少包含１０种语言，其中３种是２００４年之后加入ＥＵ的国家语言）进行整理，使用Ｖａｎｉｌｌａ 瑐瑢和ＨｕｎＡｌｉｇｎ对所有可能语对进行句对齐，使语库以ＴＥＩ兼容的ＸＭ格式呈现。而且，它对包含２２种语
吴 菲：欧盟多语平行语料库的发掘和分析
言语库的整理和预加工可使不同资料格式统一为ＵＴＦ８编码的ＸＭＬ格式，并通过摒弃无用语言文档核实文档语言，在将文本切分为编码段落块后确认文档末签名（包含地点、日期、姓名和地址条目）和文档附录。此外，ＪＲＣ－Ａｃｑｕｉｓ还是唯一一个使用两种不同对齐软件进行句对齐的ＥＵ语库，允许使用者进行对齐操作。为降低存储量，跨语对齐以元信息方式存储，提供软件工具允许使用者为任何语对产出双语对齐语库。
（二）ＤＧＴ－Ａｃｑｕｉｓ
ＤＧＴ－Ａｃｑｕｉｓ可被当作ＪＲＣ－Ａｃｑｕｉｓ的更新，因为它给研发机构提供了较大的对齐全文平行语库，包含几种不同的文档类型。但是，ＤＧＴ－Ａｃ ｑｕｉｓ与ＪＲＣ－Ａｃｑｕｉｓ有很多差异：第一，它以更系统的方式建立（选择了自２００４年起所有年份，所有ＯＬ系列文档）。第二，资料并非由ＪＲＣ加工，而是由ＤＧＴ和外部公司Ｐｒｏｍｐｓｉｔ 瑐瑣加工；全文文档使用内部软件段落对齐，而非公共软件句对齐。第三，同一资料有四个文件包，包含不同层面的对齐（原始资料、Ｆｏｒｍｅｘ－４文档层对齐、纯文本文档层对齐、纯文本段落层对齐），允许使用者据需求在最合适的加工层面获取资料，进行再加工。第四，以特殊的Ｍｕｓｅｔ容量格式编码［８］，缩短大量多语平行数据（大数据）和开放链接数据（ＯｐｅｎＬｉｎｋｅｄＤａｔａ）的距离，使资料的自动使用更为简易。
此外，原始资料（Ｆｏｒｍｅｘ－４ＸＭＬ）也被包括进去，而且每个文档的ＴＩＦＦ图像文件和Ｆｏｒｍｅｘ－４ＸＭＬ版本都对使用者可及，这开辟了一个全新用途，即训练、测试ＯＣＲ软件等。
（三）ＤＣＥＰ
ＤＣＥＰ是最新的ＥＵ语库，覆盖除克罗地亚语之外的所有ＥＵ语言。为避免与ＥｕｒｏＰａｒｌ语库重复，ＤＣＥＰ不包含ＥＰ全体会议的逐字报告（ＣＲＥ文档）。
ＤＣＥＰ包含多种文档类型，英语词汇量总计１．０３亿，其中报告（２９００万）、采用文本（１９００万）、问题书面回答（１５００万）、书面问题（１２００万）、国家或ＥＵ范围的媒体报道（１２００万）、动议（７００万）和全体会议记录（３００万）。由于国会决议过程涉及提出意见、讨论和投票几个步骤，且每一步都需要记载，因而它基于决策步骤包含了与主题相关的文档。
大多数ＤＣＥＰ文档以几种语言呈现，但第一版的ＤＣＥＰ并非完全是平行语库，有些文档仅以一种语言存在。而且，ＤＣＥＰ目前仅仅在文档层面对齐，没有现成的句对齐。但是，包含所有语对的句对齐工作（使用ＨｕｎＡｌｉｇｎ）正在进行，这一对齐资料未来也会在网站发布。
此语库以两个版本出现：源目录包含源格式（ＳＧＭＬ或ＸＭＬ）语库，而条目录包含纯文本格式的相同文件，无ＳＧＭＬ和ＸＭＬ标签。语库根据语言和文档类型被进一步细分。索引文件夹包含链接同一文档不同语言版本的文件，允许使用者编纂双语或多语语库。类似ＤＧＴ－Ａｃｑｕｉｓ，ＤＣＥＰ相比ＤＧＴ－ＴＭ和ＪＥＸ提供了更广泛的文档类型和读写模式。未来的ＤＣＥＰ版本也会包含目前仅以ＭＳ－Ｗｏｒｄ或ＰＤＦ格式出现的文档。
（四）ＤＧＴ－ＴＭ
第一版ＤＧＴ－ＴＭ在２００７年发布，包括２００６年的ＥＵ文档，迄今有三版更新（２０１１年、２０１２年和２０１３年），计划逐年更新，到２０１３年包括２３种语言（除克罗地亚语之外）
，但第２３种语言爱尔兰语常被忽视。２０１４年发布的ＤＧＴ－ＴＭ包含大约３００００个爱尔兰语和２０００００个克罗地亚语ＴＵ。尽管第一版ＤＧＴ－ＴＭ的ＴＵ对齐手动完成，后面版本使用ＤＧＴ内部对齐软件Ｅｕｒａｍｉｓ进行全文本文档自动句对齐。ＤＧＴ译者使用ＴＭ在碰到错误对齐时提供反馈，确保对齐质量。ＤＧＴ也使用ＴＭ和其他平行资源测试内部ＳＭＴ系统ＭＴ＠ＥＣ———覆盖２４种语言和５５２组语言对。自
宜宾学院学报 ２０２１年２期（第２１卷）
ＤＧＴ－ＴＭ发布以来，它已成为译员使用较多的资源，其下载数量也高于其他ＥＵ资源。ＤＧＴ－ＴＭ的建立仅基于立法文件（ＯＪ中的Ｌ系列），对应ＥＵ现行法。之所以使用ＯＪ的Ｌ系列建立ＴＭ是因为Ｌ系列被认为对ＥＵ译者最有用处，未来也可能加入Ｃ系列。
ＤＧＴ在处理ＯＪ数据时修改了源句，省略了对译员价值较低的ＴＵ（短句、长句、明显错配等），删除了句子计数器，在录音文本替代处重新插入了变音符；而且，ＤＧＴ－ＴＭ的下载页面可以查看细节。此外，ＤＧＴ－ＴＭ附有软件，允许使用者下载压缩文件为任何语对建立双语ＴＭ。不涉及英语的语对对齐则通过中介语英语进行。
（五）ＥＣＤＣ－ＴＭ
ＥＣＤＣ是一个位于Ｓｔｏｃｋｈｏｌｍ的ＥＵ机构，关注公共健康问题。ＥＣＤＣ－ＴＭ在将这一组织的英语网页翻译为欧洲经济区（ＥｕｒｏｐｅａｎＥｃｏｎｏｍｉｃＡｒｅａ，简称ＥＥＡ）的２４种语言时创立，规模较小，但主题不同。ＥＣＤＣ－ＴＭ还附有软件允许使用者通过中介语英语给任何所选语对建立双语ＴＭ，帮助软件供应商制作更好的ＭＴ工具。
（六）ＥＡＣ－ＴＭ
ＥＡＣ－ＴＭ的ＴＭ由ＥＡＣ教育文化总局提供，为两个ＥＵ项目翻译电子表格，分为电子表格的标签和目录（“表格数据”）以及复选框和下拉目录（“参考数据”）。由于资料的不同类型，这两个集合被分别存放。例如，标签可能是“国家”“请详述你的祖国”等，而参考资料可能是“德国”“基础／一般项目”“教育和文化”等。ＥＡＣ－ＴＭ的规模较小，但覆盖不同的主题域，即教育、培训、文化、青年和运动。而且，它涉及的语种书面最多：除通常２２种语言之外，还包括克罗地亚语、冰岛语、挪威语和土耳其语，因为这些国家都有资格参与ＥＡＣ项目。随着翻译工具的不断发展，ＥＡＣ－ＴＭ资料数量不断增加。此外，ＥＡＣ－ＴＭ附有软件允许使用者为所选任意语对通过中介语英语产出双语ＴＭ。
（七）ＪＥＸ
这里之所以描述ＪＥＸ是因为此软件的发布涉及成千上万个平行文档（２２种语言），给每种语言提
供了分类软件。这些文档只涉及ＣＥＬＥＸ类型３（二类立法），因而大多ＪＥＸ文档也被收入ＪＲＣ－Ａｃｑｕｉｓ、ＤＧＴ－Ａｃｑｕｉｓ和ＤＧＴ－ＴＭ。此语库的主要优势在于包含一套同质的手动ＥｕｒｏＶｏｃ－归类文档，可用于产出自动ＥｕｒｏＶｏｃ多层分类软件，在平行文档集合上形成上万个门类。而且，此语库附有软件可与其他系统的检索结果进行比对，很适合测试多语、跨语分类软件。纯文本ＪＥＸ文档在文档层面对齐，而非句子层面。
三、 平行语库的用途
平行语库对创建统计机器翻译（ＳｔａｔｉｓｔｉｃａｌＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎ，简称ＳＭＴ）模型不可或缺。ＳＭＴ最初使用加拿大国会辩论（Ｈａｎｓａｒｄ）会议记录（英语和法语）。自２００１年，受ＤＡＲＰＡ 瑐瑤资助的ＳＭＴ致力于汉语和阿拉伯语与英语的互译，使用如联合国出版物组成的大型平行语库建模［９］２８６８－２８７２。２００６年ＪＲＣ－Ａｃｑｕｉｓ的发布推动了４６２组欧洲语对ＳＭＴ系统的创立［７］，涉及超过两种语言的平行语库通过开发三角测量已被用于提高ＭＴ结果，抑或通过多重翻译对应联合，抑或通过其交集。国内很多翻译研究者已利用语库平台和检索工具，开展翻译教学或研究［１０－１３］。
此外，多－单语、平行资源（语库、字典、工具）还可用于多语文本发掘工具的开发、训练和测试，其价值无法估量。除了ＳＭＴ，平行句子集合还可用于开发多语词汇语义资源，如字典和体论；训练
测试信息萃取软件；为命名实体识别（ＮａｍｅｄＥｎｔｉｔｙＲｅｃｏｇｎｉｔｉｏｎ）［１４］进行注解投射（ａｎｎｏｔａｔｉｏｎｐｒｏｊｅｃ ｔｉｏｎ）；情感分析［１５］［１６］１０４－１１０；多文档总结［１７］５２－６３；语
吴 菲：欧盟多语平行语料库的发掘和分析
