【论⽂解读】DeepBiaffineAttentionforNeuralDependenc 。。。
⽂章⽬录
【代码实现】基于tensorflow2.2实现，直接运⾏在goole colab，见.
高考语文题【参考⽂献】
Introduction 使⽤基于图的⽅法解析依存句法，对句中每次词找到head以及其到head的依存标签，因此针对图的依存句法解析需解决两个问题：不定类别分类，哪两个节点连接弧？
固定类别分类，弧的标签是什么？本⽂使⽤ 双仿射分类器 分别预测依存关系（arc）和依存标签（label），在英语PTB数据集中0.957 UAS， 0.941 UAS，使之成为graph-bad依存句法解析的基准模型，⽂中也介绍模型⼀些超参数对模型效果的影响。模型的以下特点：使⽤双仿射注意⼒机制，⽽不是使⽤传统基于MLP注意⼒机制的单仿射分类器，或双线性分类器；
第⼀次尝试使⽤MLP对LSTM的输出进⾏降维，再输⼊⾄仿射层；Deep Biaffine Attention
双仿射层的作⽤
本⽂提出的双仿射注意⼒机制可看作为传统的单仿射分类器，即使⽤stacked LSTM输出的MLP线性变换替换权重矩阵，线性变换替换偏置项，arc双仿射分类器如下所⽰：
词根
万众一心是什么意思RU (1)W R u (2)b
双仿射分类器使⽤双线性层，⽐传统使⽤两层线性层和⼀个⾮线性激活单元的MLP⽹络更简单，同时，arc双仿射分离器对两种概率直接建模：
，结点接受任意依赖的先验概率；
，结点接受单词依赖的概率；同样地，使⽤另⼀个label双仿射分类器预测单词与其头结点（glod or predicted，训练时来⾃于真实头结点，预测时来源于arc分类器输出
的最可能头结点）间的依赖标签：
美容学校那里好
式中是维度为的⾼阶张量（m是标签个数，d是biaffine输⼊维度），label双仿射分类器对以下概率建模：
结点被贴上特定依存标签的可能性；
结点头结点被贴上特定依存标签的可能性；
给定特定头结点下，结点被贴上特定依存标签的可能性；
arc分类器是不定类别分类器，类别数与序列长度有关，label分类器是固定类别分类器，类别数等于所有可能的依存关系数。
国际广播电台MLP 层的作⽤
MLP层使⽤较⼩维度输出，可对LSTM输出降维后再输⼊⾄仿射层，避免过拟合。
LSTM层的输出状态需要携带⾜够的信息，如识别其头结点，找到其依赖项，排除⾮依赖项，分配⾃⾝及其所有依赖的依存标签，⽽且还需要把其它任何相关信息传递⾄前或后单元。对这些不必要的信息进⾏训练会降低训练速度，⽽且还有过拟合的风险。
使⽤MLP对LSTM输出降维，并使⽤双仿射变换，可解决这⼀问题！具体地说，使⽤两个独⽴的MLP⽹络对stacked BiLSTM输出重新编码，分别得到单词的dep 和head奥巴马当选演讲
向量。
worked怎么读
我们称以上⽹络结构为深层双仿射注意⼒机制。在预测依存树时，与其它基于图的依存句法解析模型⼀样，将每个单词在arc分类器输出分数最⾼的单词作为其头结点（本⽂也验证了MST算法）。
理解Attentionteacherclub com cn
式6得到的arc分数向量可理解为，单词⾃⾝dep 向量对句中其它任意单词head 向量的注意⼒分数，酷似attention！
矩阵乘法等价形式
必读书若将偏置项放⼊参数矩阵，并同时考虑所有单词的arc，则arc分类器的等价形式为
若序列长度为d（包含root节点后的长度），则，可⽤于可变类别分类。
r u j ⊤
休斯顿火箭英文(2)j r U r j ⊤(1)i j i U (1)R m ×d ×d i i j j i i u U (1)S =(arc )H (arc −head )[U (1)
u (2)][H (arc −dep )1]
S ∈(arc )R d ×d
更正矩阵等价公式（括号内加法为⼴播加法）
模型超参数S =(src )H (U H +(arc −head )(1)(arc −dep )u )
(2)
