连词成句的方法和技巧论⽂浅尝基于神经⽹络的知识推理
本⽂转载⾃公众号：。
论⽂笔记来⾃ PaperWeekly 社区⽤户 @britin。本⽂对基于 RNN 的从⼤规模知识库中进⾏推理进⾏了精度和可操作性的改善，提出的模型使⽤单个 RNN 就可以在多种 relation types 之间进⾏推理。
如果你对本⽂⼯作感兴趣，点击底部的阅读原⽂即可查看原论⽂。
关于作者：Britin，中科院物理学硕⼠，研究⽅向为⾃然语⾔处理和计算机视觉。篆书字体
■ 论⽂ | Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks
论⽂动机
使⽤神经⽹络进⾏更为复杂的推理以增加 KB 中的条⽬正在引起⼴泛关注，这么做的⼀个重要原因是为了同时⽀持 look-up 类型的问答系统以及从 entity 和 relation 中间接推理到答案的问答系统。
KB 通常是⾮常不完整的，推理可以完善那些缺失的信息。见下图：
已有的⽅法⼤多是基于 symbolic 和 logical 的推理系统，⽐如 Universal Schema，它学习 relation type 的向量表⽰，包括结构化 KB 中的以及⾃然语⾔⽂本中的关系表⽰，其中的 matrix completion 机制可以进⾏简单的推理，但只能对单条 evidence 进⾏操作，⽐如从microsoft-located-in-attle 推理出 microsoft-HQ-in-attle。
更⾼级的推理是从从句中得到包含三个或更多实体的 multi-hop 的知识库图路径。⽐如可以从 Melinda–spou–Bill–chairman–
Microsoft–HQ-in–Seattle 得到 Melinda–lives-in–Seattle。
这种推理通常⽤ path ranking algorithm 进⾏。RNN 沿着任意长度的路径组成了每条边关系的 embed
dings，输出⼀个表⽰路径两端实体之间关系的向量表⽰。但是这些⽅法只能⽤于⼩型或⼈造数据库上，并且对于许多情况下来说还是不准确不实际。
本⽂提出的⽅法则可以对⼤型的多语义 KB 进⾏推理，本⽂对基于 RNN 的从⼤规模 KB 中进⾏推理进⾏了精度和可操作性的改善：之前的⼯作只推理了 relation，没有推理组成路径上节点的 entities，本⽂对关系类型，实体和实体类型进⾏了联合学习和推理。
本⽂使⽤了 neural attention 机制对多条路径进⾏推理。
之前的⽅法最⼤的问题是要为每⼀个需要预测的 relation-type 单独训练模型。⽽本⽂只训练⼀个 RNN 来预测所有的 relation type。另外，由于训练的 multi-task 特性，共享了 RNN 参数，精度也显著提⾼了。
模型介绍
本⽂⾸先介绍了基本的 Path-RNN 的架构，本⽂的⼀切改进都是基于该模型的。
Path-RNN 的输⼊是两个实体之间的路径，输出推理出的⼆者之间的新关系。通过将关系之间的连接⽤ RNN 表⽰来进⾏推理。路径的表⽰是在处理完路径中所有的关系之后由 RNN 的最后的隐状态给出的。
架构如图所⽰，对每⼀条可能的路径⽤⼀个 RNN 来表⽰，将改路径每⼀个节点上的 entity 和连接的 relation 进⾏向量化后输⼊⼀个 RNN 单元，整条路径的最终向量表⽰就是 RNN 最后⼀个单元输出的 Hidden state，将改路径的向量表⽰和要预测的关系的向量表⽰求相似度，相似度最⾼的就是⽬标路径。
这个模型的缺点是每⼀个 relation type 都要训练⼀个新的模型，变量⽆法共享，数量巨⼤。另外只选择相似度最⾼的那⼀个路径可能会忽略掉其他路径所隐含的信息，还造成了计算浪费。
本⽂对这个模型做出的改进有：
本⽂共享了 relation type 的表⽰以及 RNN 的 composition matrices，这样同样的训练数据变量就⼤⼤减少了。训练模型的损失函数⽤的是 negative log-likelihood。
分别⽤ Top-k，average 和 LogSumExp ⽅法为每⼀条路径的相似度评分加上权重，这样就考虑了每⼀条路径包含的信息，⽽不仅仅是评分最⾼的那条。
实验结果
本⽂在⼀个⼤型的 freeba 实体和关系数据集以及 clueweb ⽂本数据集上做了验证。
坐月子能洗头吗和先前最好的结果相⽐，本⽂在 MAP 上提⾼了 25%。另外本⽂还单独设计了⼀个验证来验证在同⼀个 RNN 中共享 strength 的效果，结果证明在训练过程中⼀些出现频率较⼩的关系也提⾼了 54% 的精度。
本⽂还在另⼀个数据集上做了验证：chains of resoning in WordNet。和⽬前最好的结果相⽐，在平均分位数上的错误率减少了 84%。爱人英语
⽂章评价
本⽂提出的模型使⽤单个 RNN 就可以在多种 relation types 之间进⾏推理。并且利⽤了多条可能路径以及路径间所有实体和关系的综合信息，这些信息在之前的⽅法中都是忽略的，极⼤程度的提⾼了精度。但是由于数据的稀疏性，在处理较长的⽂本特征时性能就会减弱。
辅导员的职责
-End-夫妻和睦
关于PaperWeekly
PaperWeekly 是⼀个推荐、解读、讨论、报道⼈⼯智能前沿论⽂成果的学术平台。
降血压的小妙招
免费word模板▽ 点击 | 阅读原⽂| 查看原论⽂
OpenKG
中⽂开放知识图谱（简称OpenKG）旨在促进中⽂知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和⼴泛应⽤。
