电子设计工程
Electronic Design Engineering
第29卷Vol.29第10期No.102021年5月May 2021
收稿日期：2020-04-30
稿件编号：202004262
基金项目：咸阳师范学院专项科研基金项目《译介学视角下中国文化走出去的外译研究——以陕西省为例》的阶段性
研究成果（XSYK18032）；咸阳师范学院“青年骨干教师”资助项目（XSYGG201709）
作者简介：陈敏（1983—），女，陕西咸阳人，讲师。研究方向：翻译理论与实践。
机器翻译作为自然语言处理和人工智能研究领域的研究方向，主要是利用计算机来实现不同语言间的相互转化[1-3]。目前，较多互联网企业提供了多语言在线翻译服务，如谷歌翻译、微软Bing 翻译、百度翻译等，但机器翻译质量与专业译文间依然存在较大差异，尤其是在翻译一些长语句方面，对源语言和目
标语言间的语序差异，难以进行准确描述[4-7]。为解决长距离调序问题，相关学者进行了多方面研究[8-10]。如基于最大熵的调序模型，通过句子中不同词汇间的相互关系完成语句的精确翻译[11]；一些学者将源语言句法信息植入到翻译模型，有效提升了长距离调序的描述准确度，但容易造成翻译解码时间延长的问题[12]；一些学者提出一种预调序方式，直
基于句法的神经机器英语翻译研究
陈敏
（咸阳师范学院，陕西咸阳712000）
摘要：提出一种基于神经网络的翻译预调序方法来预测语言翻译中存在的语序差异，提高外语长句翻译过程中的翻译准确度。通过建立多层神经网络模型，对未标注文本词汇进行向量化处理，实现词汇表示与向量特征的结合，抽取多样本语句和语义的有效信息；在线性排序框架下，采用神经网络进行词语排序评分，获得样本数据语义信息，对语序进行差异预测。通过实验对比表明，采用神经网络预调序模型有效提高了系统性能和翻译准确度。将神经网络翻译模型应用于实际翻译过程中，能降低翻译工作难度，提高翻译效率，具有良好的现实意义。关键词：机器翻译；神经网络；预排序；差异预测中图分类号：TN01
文献标识码：A
文章编号：1674-6236（2021）10-0024-04
DOI：10.14022/j.issn1674-6236.2021.10.006
Syntactic⁃bad translation of neural machines
CHEN Min
（Xianyang Normal University ，Xianyang 712000，China ）
Abstract:This paper propo a neural network ⁃bad translation premodulation method to predict the word order differences in language translation and to improve the translation accuracy of long ntences in foreign languages.Through the establishment of multi ⁃layer neural network model,the unlabeled text vocabulary is vectorized,the combination of lexical reprentation and vector features is realized,and the effective information of multiple statements and mantics is extracted.Under the framework of linear sorting,the neural network is ud to sort words,to obtain mantic information of sample data,and to
predict the difference of word order.It is shown that the neural network premodulation model can
effectively improve the system performance and translation accuracy.Applying the neural network translation model to the actual translation process can reduce the difficulty of translation work and improve the translation efficiency,which has good practical significance.
Keywords:machine translation ；neural network ；pre⁃arrangement ；variance forecast
接将源语言段转化为目标语言语序，有效解决了长
语句翻译中的调序问题[13]。
在相关研究基础上，文中基于语言翻译中长距离调序问题，提出了一种基于神经网络的语言翻译预调取模型，通过建立线性排序框架来建立神经网络模型，实现在多样本语句和语义的有效信息抽取，预测语言翻译中存在的语序差异，提高翻译准确度。
煮茶叶蛋的方法
1英语语义参数处理
1.1
语义词汇的向量化表示
炖鱼汤的做法在传统自然语言处理系统中，通常将词汇当作高维稀疏特征。该文在相关研究基础上，为提升高维词汇推广能力，通过建立神经网络模型实现高维词汇的低维稠密转化，利用映射关系将相似词汇量转为低维相似点，建立负抽样快速学习算法，如图1
通脉降糖胶囊
所示。
图1
神经网络学习结构图苹果手机怎么连接电脑
下不为例的意思神经网络通过查找表LOOKUP 搜索长度为2n +1
的词汇{}w -n ,…,w o ,…,w n ，采用向量表示词汇量v (w i )，根据一定关系进行关联，在经过线性层l 1、正切双曲层tan h 和线性层l 2转换下输入，式（1）为系统输入文
本的向量化处理：
s (w -n ,…,w 0,…,w n )
=l 2⋅tan h ⋅l 1⋅LOOKUP(w -n ,…,w 0,…,w n )
（1）
为保证神经网络能够区分真实文本片段与随机
生成的错误片段，即对于真实文本片段(w -n ,…,
w 0,…,w n )，
随机从词汇表选择词w ′替换掉真实文本中的w 0，获得新的文本片段(w -n ,…,w ′,…,w n )。为保证片段的真实性，要求较新的文本片段有一个高的
分数，使用随机梯度下降方法对目标进行优化，如式（2）所示。
L (θ)=
∑al In grams ∑w ′≠w 0
max(0,1+s (w
-n
,…,w ′,…,w n )
-s (w -n ,…,w 0,…,w n ))
（2）
怪诞行为学
同时，Mikolov 等也提出了基于Skip-ngram 的快速学习词汇算法[14]，利用前馈神经网络建立词w 与上
下文中词汇c (w )间的条件概率模型，基于哈夫曼树层级softmax 加速，确定上下文词汇c (w )条件概率模型为：
P (c (x )|x )=softmax ⋅l ⋅LOOKUP(x )
（3）
其中，l 为一个线性层，以词汇长度为输入长度，词表大小作为输出长度，利用softmax 实现l 的归一化处理。神经网络得到庞大的样本后，进行词汇训练，得到对应向量特征和低维度相近空间，并输入到建立的调序模型中。
1.2线性排序模型
线性排序模型将一个序列排序分解为序列中元
素两两排序的子问题的总和，即对序列{1,2,…,n }对应一个置换π，给定的分数为：
s (π)=∑i <j
s (i ,j ,π(i ),π(j ))
（4）
式中，s (i ,j ,π(i ),π(j ))为词对(i ,j )的排序分数。当π(i )<π(j )时，
有关系s (i ,j ,π(i ),π(j ))=s (i ,j ,0)，即当(i ,j )变换位置时，词汇顺序改变不会对语义造成影响，反之，存在有s (i ,j ,π(i ),π(j ))=s (i ,j ,1)，则(i ,j )变换位置对
词汇语义造成影响。对一个需要调序的源语句
src ={w 1,…,w n }，存在一个调序结果{}w π(1),…,w π(n )，通
过调序模型给出的分数为词汇调序分数和，即：
s (π,src )=∑i <j
s (i ,j ,π(i ),π(j ),src )
（5）
工作中的s (i ,j ,π(i ),π(j ),src )由一个线性分类器实现，即：
s (i ,j ,π(i ),π(j ),src )=f (i ,j ,π(j ),src )*θ（6）
式中，θ为特征权重，f 为特征向量。在调序模型框架下，机器翻译预调序转化为寻找最高分置换过程，其中，特征向量f 是模型性能的关键，通常采用大量高维词汇特征表达，并引入词类、词性标准进行特征向量平滑。
2翻译语义预调序训练
2.1
预调序模型
该文基于神经网络建立预调序模型，将词汇调序问题分解为两两排序问题，通过多层神经网络进行排序打分[15]。具体说，对于句子src ={w 1,w 2,…,w n }，给出的调序结果评分为：
s (π,src )=∑i <j
s NN (i ,j )[order(π(i ),π(j ))]+
s spar (i ,j ,π(i ),π(j ),src)oder(π(i ),π(j ))=ìí
î
0,π(i )<π(j )
1,el （7）
陈敏
基于句法的神经机器英语翻译研究
《电子设计工程》2021年第10期
式中，s
NN
和s spar分别为神经网络和稀疏特征计算评分值，输入量为第i,j上下文词汇，输出为二维向量。确定模型调序的输出最优解为：
π*=argmaxπs(π)（8）2.2调序训练数据
调序数据训练主要从双语平行预料中获取训练数据，并根据训练数据对模型进行参数学习[16]。对于一个有词对齐信息的双语句对(e,f,α)，其中e为源语言句子，f为目标句子，a为二者间词对齐关系。要获得源语言句子e重排序π*，使它和目标语言句子f 语序相近，采用交叉连接数来评价调序结果，用数对(i,j)表示词对齐连接，即源语言第i个词与目标语言第j个词间建立相互连接关系，则称两个词链接(i1,j1)和(i2,j2)之间为交叉关系，若满足式（9）中的关系：
(i1-i2)*(j1-j2)<0（9）此时定义：
c(i1,j1,i2,j2)={1(i1-i2)*(j1-j2)<1
0el（10）则源语言为一种重排序π的交叉连接数相应的计算公式为：
crosslink(π,e,f,a)=∑allinkpair s(π(i1),a(i1),π(i2),π(i2))c(π(i1),a(i1),π(i2),a(i2))
（11）通过计算获得交叉连接数最小重排序π*，则源语言的重排序的交叉连接数为：
π*=arg mincrosslinkπ(π,e,f,a)（12）当源语言和目标语言语序完全一致时，这个交叉连接数为0。语序差异性越大，则交叉连接数也就越大。由于重排序的数量与句子长度间呈现出一种指数级关系，因而无法准确寻找到交叉数对的最小重排序。基于此，可采用CKY动态规划在O(n3)的时间复杂度下获得最优解。同时需要注意，由于存在空对齐形式，可能存在多个交叉连接数的最小重排序，在这种情
况下，随机获得的任意一个最小重排序作为目标排序。
2.3参数学习
通过调序训练数据可以得到双语句对(e,f,α)的一个交叉连接数最小重排序π*。为确保预调序的准确度，首先需对获得的训练数据执行参数训练。假设θ为训练参数，其中包括了稀疏特征权重向量与网络参数，采用最小化损伤函数[17]对模型进行参数训练学习：
L(θ)=∑(e,f,a)max(0.1+s(π-)-s(π*))（13）其中，π-为排序中分数最高的重排序。对于双语料中所有句对，从中随机抽取一个句对，用当前参数值进行CKY解码[18]，获得π-，并与π*进行比对，若对比损失不为0，则根据获得的最小损失梯度[14]进行参数更新：
θ←θ-γ∇L(θ)（14）其中，γ为学习率，∇L(θ)为稀疏特征权重参数的梯度，对应的关系式为：
∇L(θ)=f spar(π-)-f spar(π*)（15）
f spar为系统特征向量，可通过反向传播算法计算获得。当模型参数初始化时，由学习的词汇向量作为查找表参数初始值，将神经网络两个线性层参数初始化到一个小区间，稀疏特征权重的初始值设为0。
3实验分析
3.1实验数据
为验证该文建立模型的有效性，选择中英互翻译进行实例验证。实验数据包括用于训练词汇向量的单语文本，由互联网中随机抓取，经过正规化、去重处理后获得的英文文本；用于与调序模型和翻译模型的双语数据，由互联网中抓取，包括中文到英文数据包2600万句；用于测试评价的测试数据，采用NIST05作为开发集NTST06和NTST08为测试集，NIST作为机器翻译评测测试集。
为验证该算法模型的翻译性能，对比实验选择未经处理的预处理翻译系统。对神经网络模型，采用的词汇向量长度为100，设置网络输入层为5个节点数，隐含层长度为50个节点数，设置初始学习率为0.1。3.2结果分析
在中英文数据集上进行实验，采用BLEU-4作为评价指标，如表1为机器翻译实验结果。可以看出，采用神经网络的预调序模型得到的翻译效果可以显著提高，这是因为在中英文翻译中，调序更多的是以词汇化模式为介入点[19-20]，而神网络模型通过对词汇进行向量化表示，寻找其中的相似性，有效提升了词汇间的关联程度，因而具备更好的翻译效果。
同时，采用源语言和目标语言间词对齐交叉连接数进行评价。源语言和目标语言语序越接近，则对齐交叉连接数越小，预调序效果越好。表2中对
随机选定的500个中英文语言数据集进行词堆积标准测试，可以看出，神经网络的预调序模型获得的对齐交叉连接数仅有16.8，远小于稀疏特征预调序模型和未调序翻译系统，有效提升了预调序效果，获得的语句翻译质量更优。
表2中文到英文交叉连接数均值
实验系统
未调序翻译系统稀疏特征预调序模型神经网络预调序模型交叉连接数30.4 28.7 16.8
4结束语
针对长距离调序中难以对翻译词汇进行有效描述的现象，提出一种利用神经语言模型实现对文本词汇的向量化表示，建立基于神经网络的翻译预调序模型。模型融合在线性排序框架，从大量样本数据获得句子词汇间的句法和语义信息，获得不同语言间潜在的语序差异。最后通过建立不同的翻译模型进行性能对比结果表明，采用提出的神经网络预调序模型有效提高了系统性能和翻译准确度。
参考文献：
[1]李亚超，熊德意，张民.神经机器翻译综述[J].计算
机学报,2018,41(12):2734-2755.
[2]李天韵.口译工作模型下的机器同声传译系统分
析[J].东方翻译,2018(6):34-39,87.
[3]于艳英，聂蜂林.基于科技文本的在线机器翻译错
误分析[J].信息记录材料,2019,20(5):130-132. [4]陆雯洁，谭儒昕，刘功申，等.基于半监督学习的小
语种机器翻译算法[J].厦门大学学报(自然科学版),2019,58(2):200-208.
[5]席敬，董一恒.跨文化交际视角下的机器翻译谬误
分析[J].北京印刷学院学报,2019,27(10):64-67.[6]刘伍颖，张兴.基于自然句法标记的日汉机器翻译
架构[J].山西大学学报(自然科学版),2018,41(1): 61-69.
[7]熊德意，李军辉.基于约束的神经机器翻译[J].中
国科学：信息科学,2018,48(5):574-588. [8]包乌格德勒，赵小兵.基于RNN和CNN的蒙汉神
经机器翻译研究[J].中文信息学报,2018,32(8): 60-67.
[9]冯志伟.机器翻译与人工智能的平行发展[J].外国
语(上海外国语大学学报),2018,41(6):35-48. [10]杨南，李沐.基于神经网络的统计机器翻译的预调
序模型[J].中文信息学报,2016,30(3):103-110. [11]谭敏，段湘煜，张民.基于领域特征的神经机器翻
译领域适应方法[J].中文信息学报,2019,33(7): 56-64.
[12]周张萍，黄荣城，王博立，等.基于增量式自学习策
略的多语言翻译模型[J].厦门大学学报(自然科学版),2019,58(2):170-175.
[13]谭亦鸣，王明文，李茂西.基于翻译质量估计的神
经网络译文自动后编辑[J].北京大学学报(自然科学版),2018,54(2):255-261.
[14]张移萌.中西文化差异对商务英语翻译的影响和
广东特色菜对策[J].文化创新比较研究,2019,3(23):100-101.健身后肌肉酸痛
[15]高恩婷，段湘煜.英汉机器音译系统对比研究[J].
北京大学学报(自然科学版),2017,53(2):287-294.
[16]王志娟，李福现.跨语言命名实体翻译对抽取的研
究综述[J].计算机科学,2017,44(S1):14-18,28. [17]秦颖.基于神经网络的机器翻译质量评析及对翻
译教学的影响[J].外语电化教学,2018(2):51-56.
[18]肖新凤，李石君，余伟，等.基于改进q2q模型的
英汉翻译研究[J].计算机工程与科学,2019,41(7): 1257-1265.
[19]罗飞.基于机器学习的汉英翻译自动校准方法研
究[J].自动化与仪器仪表,2020(8):146-149. [20]王奥南，孙雪娥.基于机器学习的平行语料库应用
效果评价方法[J].自动化与仪器仪表,2021(2): 197-201.
表1中文到英文翻译结果
实验系统
未调序翻译系统稀疏特征预调序模型神经网络预调序模型NIST05
0.416
0.418
0.432
NIST06
0.357
0.363
0.389
NIST08
0.312
0.315
0.322
陈敏基于句法的神经机器英语翻译研究
