第３８卷第４期 计算机应用与软件
Ｖｏｌ ３８Ｎｏ．４２０２１年４月
ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ａｐｒ．２０２１
基于卷积神经网络的知识图谱补全方法研究
王维美１ 陈 恒１，２ 史一民１ 李冠宇１
１
（大连海事大学信息科学技术学院 辽宁大连１１６０２６）
２
（大连外国语大学软件学院 辽宁大连１１６０４４）
收稿日期：２０１９－０９－０６。国家自然科学基金项目（６１３７１０９０，６１６０２０７６，
６１７０２０７２，６１９７６０３２）；国家社会科学基金项目（１５ＢＹＹ０２８）；辽宁省自然科学基金项目（２０１７０５４０２３２，２０１７０５４０１４４，２０１８０５４０００３）；大连外国语大学科研创新团队项目（２０１６ＣＸＴＤ０６）。王维美，硕士生，主研领域：智能信息处理。陈恒，博士生。史一民，副教授。李冠宇，教授。
摘 要 知识图谱是事实三元组的集合，其表示形式为（头实体，关系，尾实体）。为了补全知识图谱中缺失的实体和关系，提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组，得到实体向量和关系向量；将三元组表示成３列矩阵，作为卷积神经网络的输入，卷积后得到三元组的特征表示图；连接所有特征图和权重向量进行点乘得到每个三元组的得分，得分越低证明三元组越正确。实验采用数据集ＷＮ１８ＲＲ、ＦＢ１５Ｋ ２３７、ＦＢ１５Ｋ分别进行链接预测和三元组分类实验。实验结果表明，与其他方法相比，该方法在ＭｅａｎＲａｎｋ和Ｈｉｔ＠１０指标上都取得了更好的实验结果，证明其可以有效提高三元组预测精度。关键词 知识图谱 知识图谱补全 卷积神经网络 链接预测 三元组分类
中图分类号 ＴＰ１８１ 文献标志码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００ ３８６ｘ．２０２１．０４．０４１
ＫＮＯＷＬＥＤＧＥＧＲＡＰＨＣＯＭＰＬＥＴＩＯＮＭＥＴＨＯＤ
ＢＡＳＥＤＯＮＣＯＮＶＯＬＵＴＩＯＮＡＬＮＥＵＲＡＬＮＥＴＷＯＲＫ
ＷａｎｇＷｅｉｍｅｉ１ ＣｈｅｎＨｅｎｇ１，２ ＳｈｉＹｉｍｉｎ１ ＬｉＧｕａｎｙｕ
赞美山峰的诗句１
１
（ＦａｃｕｌｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＤａｌｉａｎＭａｒｉｔｉｍｅＵｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ１１６０２６，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ）
２
（ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＤａｌｉａｎＵｎｉｖｅｒｓｉｔｙｏｆＦｏｒｅｉｇｎＬａｎｇｕａｇｅｓ，Ｄａｌｉａｎ１１６０４４，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ Ｋｎｏｗｌｅｄｇｅｇｒａｐｈｉｓａｃｏｌｌｅｃｔｉｏｎｏｆｆａｃｔｕａｌｔｒｉｐｌｅｓ，ｔｈｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｉｓ（ｈｅａｄ，ｒｅｌａｔｉｏｎ，ｔａｉｌ）．Ｉｎｏｒｄｅｒｔｏｃｏｍｐｌｅｔｅｔｈｅｍｉｓｓｉｎｇｅｎｔｉｔｉｅｓａｎｄｒ
ｅｌａｔｉｏｎｓｉｎｔｈｅｋｎｏｗｌｅｄｇｅｇｒａｐｈ，ａｎｉｍｐｒｏｖｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｋｎｏｗｌｅｄｇｅｇｒａｐｈｃｏｍｐｌｅｔｉｏｎｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅｔｒａｄｉｔｉｏｎａｌｅｍｂｅｄｄｉｎｇｍｏｄｅｌｗａｓｕｓｅｄｔｏｔｒａｉｎｔｈｅｔｒｉｐｌｅｓｔｏｏｂｔａｉｎｔｈｅｅｎｔｉｔｙｖｅｃｔｏｒａｎｄｔｈｅｒｅｌａｔｉｏｎｖｅｃｔｏｒ；ｔｈｅｔｒｉｐｌｅｗａｓｒｅｐｒｅｓｅｎｔｅｄａｓａ３ ｃｏｌｕｍｎｍａｔｒｉｘａｓｔｈｅｉｎｐｕｔｔｏｔｈｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｎｄｔｈｅｍａｔｒｉｘｗａｓｃｏｎｖｏｌｖｅｄｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌｔｏｏｂｔａｉｎｆｅａｔｕｒｅｍａｐｓ；ａｌｌｆｅａｔｕｒｅｍａｐｓｗｅｒｅｃｏｎｎｅｃｔｅｄ，ａｎｄｔｈｅｗｅｉｇｈｔｖｅｃｔｏｒｗａｓｍｕｌｔｉｐｌｉｅｄｔｏｏｂｔａｉｎｔｈｅｓｃｏｒｅｏｆｅａｃｈｔｒｉｐｌｅｔｏｄｅｔｅｒｍｉｎｅｔｈｅｃｏｒｒｅｃｔｎｅｓｓｏｆａｔｒｉｐｌｅ．Ｉｎｔｈｅｅｘｐｅｒｉｍｅｎｔ，ｔｈｅｄａｔａｓｅｔｓＷＮ１８ＲＲ，ＦＢ１５Ｋ ２３７，ＦＢ１５Ｋｗｅｒｅｕｓｅｄｔｏｌｉｎｋｐｒｅｄｉｃｔｉｏｎａｎｄｔｒｉｐｌｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒｍｅｔｈｏｄｓ，ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄａｃｈｉｅｖｅｓｂｅｔｔｅｒｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｔｈｅＭｅａｎＲａｎｋａｎｄＨｉｔ＠１０ｉｎｄｉｃａｔｏｒｓ，ｗｈｉｃｈｐｒｏｖｅｓｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｅｆｆｅｃｔ
ｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｏｆｔｈｅｔｒｉｐｌｅｓ．
Ｋｅｙｗｏｒｄｓ Ｋｎｏｗｌｅｄｇｅｇｒａｐｈ Ｋｎｏｗｌｅｄｇｅｇｒａｐｈｃｏｍｐｌｅｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ Ｌｉｎｋｐｒｅｄｉｃｔｉｏｎ Ｔｒｉｐｌｅｃｌａｓｓｉｆｉｃａｔｉｏｎ
０ 引 言
知识图谱（Ｋｎｏｗｌｅｄｇｅｇｒａｐｈ，ＫＧ）是种新型知识表
示方法，其概念最早由谷歌公司提出，Ｇｏｏｇｌｅ认为
“
ｔｈｉｎｇｓ，ｎｏｔｓｔｒｉｎｇｓ”，即对于搜索引擎来讲，世界中的各种物体不应该仅仅是ｓｔｒｉｎｇ，而是具有实际含义的
ｔｈｉｎｇ［１］
。ＫＧ提供图结构化信息，成为智能问答、Ｗｅｂ
第４期 王维美，等：基于卷积神经网络的知识图谱补全方法研究２５１
搜索、推荐系统和专家系统等智能应用程序的关键资
源。随着知识图谱的兴起，出现了很多大型知识图谱，如Ｆｒｅｅｂａｓｅ、ＤＢｐｅｄｉａ，但这些知识图谱并不完备，知识图谱中实体间隐含的关系没有被充分挖掘，补全三元组成为亟需解决的问题。近几年，很多工作利用卷积神经网络表示知识图谱中实体和关系，并进行知识图谱补全，从而完善知识图谱。
知识图谱是一种描述真实世界客观存在的实体、概念及它们之间关联关系的语义网络［２］，是结构化的语义知识库［３］，其中实体使用节点代替，关系用边表示，表示形式为三元组（ｈ，ｒ，ｔ），即（头实体，关系，尾实体）。随着知识图谱规模越来越大，三元组数据稀疏问题愈加严重。知识图谱的表示学习技术将三元组中实体和关系表示成向量，在低维向量空间计算实体和关系的语义联系，解决独热学习维度过高和无法有效表示两个实体的问题。知识图谱表示学习面向知识图谱的实体和关系进行学习，该技术可以有效缓解数据稀疏问题，使知识图谱更加完备。
目前一些知识表示学习算法不能有效解决知识图谱存在的数据稀疏问题，如早期的ＴｒａｎｓＥ嵌入模型在处理复杂关系上性能降低。对此，本文提出一种基于ＣＮＮ（卷积神经网络）的知识图谱补全方法。卷积神经网络为计算机视觉而设计，在自然语言处理领域受到很大关注［４］，在某些任务（
如分块、词性标签、命名实体识别和关系分类）上取得了不错效果［５］。与全连接神经网络相比，卷积神经网络学习非线性特征可以捕获复杂关系，且参数数量明显减少［６］。基于ＣＮＮ的优点，使用其进行知识图谱补全的优点在于：（１）充分考虑到上下文信息和词序，能够学习实体和关系的嵌入向量间的深层联系［６］；（２）所需参数较少，计算复杂度低，能够适用大规模知识图谱补全。本文方法使用改进的卷积神经网络对三元组（ｈ，ｒ，ｔ）的嵌入矩阵（ｈ，ｒ，ｔ）进行操作，将三元组矩阵和不同的卷积核进行卷积，把卷积得到的特征图进行连接，将特征图和权重向量作点积运算，用点乘的分数判断三元组正确与否。分数越趋近于０，代表三元组越正确，其中正确三元组分数低于错误三元组分数。
本文使用从Ｆｒｅｅｂａｓｅ和ＷｏｒｄＮｅｔ抽取的数据集，进行知识图谱补全相关的链接预测和三元组分类实验。实验结果表明，本文方法拥有更好的预测精度，补全效果更好。１ 相关工作
１．１ 嵌入模型
典型的嵌入模型有ＴｒａｎｓＥ［７］、ＴｒａｎｓＨ［８］、ＴｒａｎｓＲ［９］、ＴｒａｎｓＤ［１０］等嵌入模型。这些嵌入模型将实体和关系投影到连续的低维向量空间中，即图１中将三元组（ｈ，ｒ，ｔ）投影到低维嵌入空间Ｒｋ中，生成（ｈ，ｒ，ｔ）的过程。ＴｒａｎｓＥ模型将知识图谱的关系看作是头实体到尾实体的一种平移。给定一个三元组（Ｂｅｉｊｉｎｇ，ｃｉｔｙＯｆ，
Ｃｈｉｎａ），ＴｒａｎｓＥ将关系向量ｒ作为头实体向量ｈ和尾实体向量ｔ之间的一种平移［１１］，即ｈ＋ｒ≈ｔ，这也表明在嵌入空间中ｔ应该是ｈ＋ｒ最近的邻居［１２］
。
图１ 实体和关系的低维嵌入
ＴｒａｎｓＥ模型只适用一对一关系，在处理复杂关系类型１ Ｎ、Ｎ １、Ｎ Ｎ上模型性能显著降低。例如，给定两个三元组（ＴｈｅＴｅｒｍｉｎａｔｏｒ，＿ｄｉｒｅｃｔｅｄ＿ｂｙ，ＪａｍｅｓＣａｍ ｅｒｏｎ）、（Ａｌｉｅｎｓ，＿ｄｉｔｒｅｃｔｅｄ＿ｂｙ，ＪａｍｅｓＣａｍｅｒｏｎ），为得到头实体ＴｈｅＴｅｒｍｉｎａｔｏｒ和Ａｌｉｅｎｓ的向量，使用打分函数ｈ＋ｒ≈ｔ进行计算，得到两个相同向量。实体不同，向量就不同，ＴｒａｎｓＥ不能有效解决此问题。为了弥补这个缺陷，出现了ＴｒａｎｓＨ、ＴｒａｎｓＲ等模型。ＴｒａｎｓＲ模型对一个给定关系ｒ，定义关系的投影矩阵Ｍ
ｒ
，将实体从实体空间投影到关系ｒ的子空间，利用打分函数ｈ＋ｒ≈ｔ计算每个三元组的得分。ＴｒａｎｓＲ通过将实体和关系投影到不同的空间，解决了实体和关系属于不同对象时，不能用同一个空间表示的问题。基于ＴｒａｎｓＲ这种特性，本文用ＴｒａｎｓＲ对数据集中所有三元组进行训练，将得到的向量作为本文算法的输入，使得每个三元组输入时拥有一定的语义信息。
１．２ 神经网络模型
上述嵌入模型仅表达了三元组结构信息，没有利用实体或关系的描述文本。文献［１３］提出了一种张量神经网络（ＮＴＮ），用实体名称所有词向量平均值表示该实体，让具有类似名称的实体能够共
享文本信息。ＤＫＲＬ［１４］使用连续词袋（ＣＢＯＷ）以及卷积神经网络（ＣＮＮ）两种表示学习方法来建立实体描述文本的语义向量。ＯＯＫＢ［１５］模型是一种基于图神经网络（Ｇｒａｐｈ
２５２
计算机应用与软件
２０２１年
ＮＮｓ）的模型，将图谱中头实体和尾实体向量进行组合，
形成最终向量。此外，模型ＤｉｓＭｕｌｔ［１６］和ＣｏｍｐｌＥｘ
［１７］使用向量点乘计算三元组得分，利用打分函数判定其正确性。
和链接预测模型ＤｉｓＭｕｌｔ相比，ＣｏｎｖＥ［１８］
模型参数
少，计算复杂度低，可以高效训练三元组，获取实体和关系的向量嵌入，同时学习三元组更多的特征表示。ＣｏｎｖＥ作为使用ＣＮＮ来补全知识图谱的模型，将头实体和关系向量重组，组合成矩阵作
为ＣＮＮ卷积层的输入，使用不同的卷积核进行卷积，输出多个特征图，将这些特征图矢量化，映射成一个向量，此向量和尾实体作点积运算得到三元组分数，利用得分判断三元组的正确性。ＣｏｎｖＥ模型打分函数见表１。ＣｏｎｖＥ将头实体和关系作为输入矩阵，忽略了三元组的全局特征。为了使用三元组的全局特征，文献［６］提出了ＣｏｎｖＫＢ模型，该模型将三元组（头实体，关系，尾实体）矩阵作为输入，捕获三元组全局特征，利用不同的卷积核进行卷积，通过打分函数得到每个三元组的得分，作为判断三元组正确的依据。从上述两个模型可以看出，卷积神经网络可以提取三元组中实体和关系的特征，然后和不同的卷积核进行卷积，得到相应的特征图，将特征图进行连接得到三元组的整体特征。文献［６］提出使用ＣＮＮ对三元组进行编码，但只融合进了ＴｒａｎｓＥ，没做进一步探索。为充分考虑三元组的结构信息和特征表示，本文使用ＴｒａｎｓＲ训练出的三元组矩阵作为本文算法的输入，解决ＴｒａｎｓＥ模型不能建模复杂关系的缺陷，同时使用不同的卷积核进行卷积。本文对卷积核形状做了一定修改，同时设置不同的步长数对输入矩阵作卷积运算，对输入的三元组尽可能捕获更多的特征，获取三元组的全局表示特征。以上模型的打分函数如表１所示。
表１ 相关模型的打分函数板蓝根种子
模型打分函数大学之道全文
ＴｒａｎｓＥｆｒ（ｈ，ｔ）＝ｈ＋ｒ－ｔ２
甜杏仁
２
ＴｒａｎｓＨｆｒ（ｈ，ｔ）＝（ｈ－ｗＴｒｈｗｒ）＋ｒ－（ｔ－ｗＴ
ｒｔｗｒ）２２
ＴｒａｎｓＲｆｒ（ｈ，ｔ）＝（ｈＭｒ＋ｒ－ｔＭｒ）２２ＣｏｎｖＥｇ（ｖｅｃ（ｇ（ｃｏｎｃａｔ（ｖ＾ｈ，ｖ＾ｒ） Ω））Ｗ）·ｖｔ
ＣｏｎｖＫＢ
ｃｏｎｃａｔ（ｇ（［ｖｈ，ｖｒ，ｖｔ
］ Ω））·ｗ２ 算法设计
使用ＴｒａｎｓＲ模型训练出的三元组矩阵作为本文算法的输入，并在ＴｒａｎｓＲ模型算法的基础上完善了基
于卷积神经网络的算法。给定一个三元组（ｈ，ｒ，ｔ）∈Ｔ，ｈ，ｒ∈Ｅ，ｒ∈Ｒ，即ＫＧ＝（Ｅ，Ｒ，Ｔ），Ｅ为实体集，Ｒ是关系集，
Ｔ是训练集，每个实体和关系的嵌入维度为Ｎ。本文算法如下：
输入：训练集Ｔ＝（ｈ，ｒ，ｔ），实体集Ｅ，关系集Ｒ，正则项权重λ，嵌入层维度Ｎ。初始化：
ｒ←ｕ
ｎｉｆｏｒｍ－６槡
Ｎ，６
槡()Ｎｆｏｒｅａｃｈｒ∈Ｒ ｒ←ｒ／ｒｆｏｒｅａｃｈｒ∈Ｒ ｅ←ｕ
ｎｉｆｏｒｍ－６槡Ｎ，６槡
(
)
Ｎｆｏｒｅａｃｈｅ∈ＥＬｏｏｐ： ｅ←ｅ／ｅｆｏｒｅａｃｈｅ∈Ｅ Ｔｂａｔｃｈ←ｓａｍｐｌｅ（Ｔ，ｂ）／／ｓａｍｐｌｅａｍｉｎｉｂａｔｃｈｏｆｂ
Ｔｂａｔｃｈ
← ｆｏｒ（ｈ，ｒ，ｔ）∈Ｔｂａｔｃｈｄ
ｏ （ｈ′，ｒ′，ｔ′）←ｓａｍｐｌｅ（Ｔ′（ｈ，ｒ，ｔ）
） Ｔｂａｔｃｈ←Ｔｂａｔｃｈ∪｛（（ｈ，ｒ，ｔ），（ｈ′，ｒ′，ｔ′））｝ ｅｎｄｆｏｒ 更新嵌入层
∑
（（ｈ，ｒ，ｔ），（ｈ′，ｒ′，ｔ′））∈Ｔｂａｔｃｈ
Δ
［ｆｒ（ｈ，ｔ）＋γ－ｆｒ（ｈ′，ｔ′）］＋
Ｉｎｐｕｔ←［
ｈ，ｒ，ｔ］／／输入矩阵
计算ｃｏｎｃａｔ（ｇ（［ｈ，ｒ，ｔ］ Ω））·ｗ 更新损失函数
１
Ｎ∑（ｈ，ｒ，ｔ）∈｛Ｔ∪Ｔ
′｝ｌｎ（１＋ｅｘｐ（ｆ（ｈ，ｔ）·θ））＋λｗ２２
＋ｂ／／θ＝±１
ＥｎｄＬｏｏｐ
本文算法框架图如图２所示。使用（ｈ，ｒ，ｔ）表示每个三元组（ｈ，ｒ，ｔ）相应的嵌入矩阵，令Ｍ＝［ｈ，ｒ，ｔ］∈
ＲＮ×３，Ｍｉ，：
∈Ｒ２×３表示矩阵的每一行，和不同的卷积核进行卷积。ω是一个２×３的卷积核，和Ｍ的每两行重复卷积，得到一个个特征图，连接所有特征图得到的列向量如式（１）所示。
图２ 算法框架
ｖ＝［ｇ（ω·Ｍ１，：＋ｂ），ｇ（ω·Ｍ２，：＋
ｂ），…，ｇ（ω·Ｍｋ，：＋
ｂ）］∈ＲＮ
（１）
第４期 王维美，等：基于卷积神经网络的知识图谱补全方法研究２５３
列向量和权重向量作点积运算，得到的分数作为
判断三元组是否正确的依据。本文采用不同卷积核进
行操作，形状为２×３，步长为｛１，２，３｝，令步长为１，卷
积核数量ω＝ｍ，会产生ｍ个不同的特征图，ｍ个不
同特征图进行连接得到一个列向量ｖ∈Ｒｍ（Ｎ－１），然后
和一个权重向量ｗ∈Ｒｍ（Ｎ－１）作点乘。其中，打分函数
越小代表三元组越正确，打分函数如下：
ｆ（ｈ，ｔ）＝ｃｏｎｃａｔ（ｇ（［ｈ，ｒ，ｔ］ Ω））·ｗ（２）
式中：Ω和ｗ分别是卷积核集、权重，它们都是超参
数；ｇ代表激活函数，本文比较了ＲｅＬＵ和Ｓｉｇｍｏｉｄ两
通天纹手相
个激活函数，实验结果表明，ＲｅＬＵ卷积效果更好； 代
表卷积操作；ｃｏｎｃａｔ表示连接操作；［ｈ，ｒ，ｔ］表示算法
的输入矩阵，此矩阵由本文改进后的ＴｒａｎｓＲ模型进行
训练得到。最小化损失函数作为最终的训练目标，损
失函数如下：
Ｌ＝１
Ｎ
∑
（ｈ，ｒ，ｔ）∈｛Ｔ∪Ｔ′｝
ｌｎ（１＋ｅｘｐ（ｆ（ｈ，ｔ）·θ））＋λｗ２
２
＋ｂ
（３）
式中：超参数ｂ为ＣＮＮ偏置项；为防止过拟合，添加正则项ｗ２
２
；λ为正则项的权重，在训练阶段得到λ＝０．００１；（ｈ，ｒ，ｔ）∈Ｔ，θ＝－１，（ｈ，ｒ，ｔ）∈Ｔ′，θ＝１，Ｔ为正例三元组，Ｔ′为负例三元组，构造方法如式（４）所示。
Ｔ′＝｛（ｈ，ｒ，ｔ）ｈ′∈Ｅ｝∪｛（ｈ，ｒ，ｔ）ｔ′∈Ｅ｝（４）即将正确三元组的头实体和尾实体分别用数据集所有实体代替，正例三元组得分低于负例三元组得分。本文使用Ａｄａｍ［２０］最小化如式（３）所示的损失函数。３ 实 验
３．１ 数据集
本文使用从Ｆｒｅｅｂａｓｅ和ＷｏｒｄＮｅｔ中抽取的３个数据集：ＦＢ１５ｋ［７］、ＷＮ１８ＲＲ［１８］、ＦＢ１５Ｋ ２３７［２０］进行实验。由文献［２０］可知，数据集ＷＮ１８和ＦＢ１５ｋ包含一些反转关系，这些反转关系会使实验结果显著提高，为保证实验结果的准确性，将数据
集ＷＮ１８和ＦＢ１５ｋ中具有反转关系的三元组去掉，得到对应数据集ＷＮ１８ＲＲ和ＦＢ１５Ｋ ２３７。
数据集ＦＢ１５ｋ包含１３４５种关系，１４９５１个实体，５９２２１３个三元组，训练集、验证集、测试集大致比率为９∶１∶１。
数据集ＦＢ１５Ｋ ２３７包含２３７种关系，１４５４１个实体，３１０１１６个三元组，训练集、验证集、测试集大致比率为１４∶１∶１。
数据集ＷＮ１８ＲＲ包含１１种关系，４０９４３个实体，９３００３个三元组，分为训练集、验证集、测试集３种，大致比率为２８∶１∶１。
数据集统计情况如表２所示。
表２ 数据集统计
数据集ＲｅｌＥｎｔＴｒａｉｎＶａｌｉｄＴｅｓｔ
ＦＢ１５Ｋ１３４５１４９５１４８３１４２５００００５９０７１ＦＢ１５Ｋ（２３７）２３７１４５４１２７２１１５１７５３５２０４６６ＷＮ１８ＲＲ１１４０９４３８６８３５３０３４３１３４
３．２ 参数设置
本文使用改进后的ＴｒａｎｓＲ训练出三元组矩阵来作为本文算法的输入。使用超参数网格搜索训练ＴｒａｎｓＲ３０００次，最终超参数设置如下：数据集的嵌入维度Ｎ∈｛５０，１００｝，ＳＧＤ的学习速率λ
１
∈｛０．１，０．０１，０．００１，０．０００１｝，间隔γ∈｛１，２，３，４，５｝，归一化采用Ｌ１或Ｌ２范数。
为了学习实体和关系的嵌入维度Ｎ、卷积核ω、权重ｗ、偏置项ｂ这些超参数，本文使用Ａｄａｍ优化器，
其学习速率λ
２
∈｛０．０１，０．００１，０．０００１，０．０００５，０．００００１，０．００００５｝。卷积核ω的数值随机初始化，卷积核数量ｍ∈｛１００，１５０，２００，３００，４００，６００
｝，损失函数的λ值设置为０．００１，所有实验进行５００轮的迭代训练。此外，为有效缓解过拟合，根据验证集上的ＭＲＲ评估指标，通过网格搜索选择ｄｒｏｐｏｕｔ值，其值为ｄｒｏｐｏｕｔ∈｛０．１，０．２，０．３，０．５｝。
在经过５００次迭代训练后，使用最后一次迭代训练的输出值作为测试集评估，不同数据集最优Ｈｉｔ＠１０如下：在ＷＮ１８ＲＲ上，Ｈｉｔ＠１０最优设置为：Ｎ＝５０，
ｍ＝６００，λ
２
＝０．０００５，ｄｒｏｐｏｕｔ＝０．５；在ＦＢＩ５Ｋ ２３７上，
Ｈｉｔ＠１０最优设置为：Ｎ＝１００，ｍ＝１００，λ
２
＝０．００００１，ｄｒｏｐｏｕｔ＝０．３。
３．３ 链接预测
３．３．１ 实验设计
链接预测即预测知识图谱中三元组缺失的实体和实体间关系。例如：给定三元组（ＭｉｃｈｅｌｌｅＯｂａｍａ，ｒｅｓｉ ｄｅｎｃｅ，？），其中：头实体为ＭｉｃｈｅｌｌｅＯｂａｍａ，关系为ｒｅｓｉ ｄｅｎｃｅ，尾实体缺失，为补全三元组，将Ａｍｅｒｉｃａｎ添加到该元组中，对其进行补全；或者（邓超，？，孙俪），该三元组中缺失关系，为补全三元组，将夫妻（或配偶）关系添加进去进行补全。实验采用文献［７］的标准，对测试集中每个三元组（ｈ，ｒ，ｔ），把头实体、尾实体去掉，依次使用数据集所有实体替代，得到负例三元组，对新三元组使用打分函数计算相似性得分，相似度越高排名越靠前，这样可以得到正确实体的真实排名。
２５４
计算机应用与软件２０２１年
３．３．２ 评估指标
本文选择平均排名ＭＲ（ＭｅａｎＲａｎｋ）、倒数平均排名ＭＲＲ（ＭｅａｎＲｅｃｉｐｒｏｃａｌＲａｎｋ）、进入前１０名的比例（Ｈｉｔ＠１０）作为本文算法评估指标。三个指标中，ＭＲ越低、ＭＲＲ越高、Ｈｉｔ＠１０越高，代表算法的效果越好，学习能力越强。数据集中可能存在一些
错误三元组，采用文献［７］的标准，把错误三元组从数据集中删除，删除后的设置为Ｆｉｌｔｅｒ，原来的为Ｒａｗ。在数据集ＦＢ１５Ｋ ２３７和ＷＮ１８ＲＲ上，仅使用Ｆｉｌｔｅｒ设置。３．３．３ 实验结果和分析
采用相同实验设置情况下，本文实验环境为：Ｗｉｎｄｏｗ７６４位系统，物理内存为８ＧＢ。数据集ＷＮ１８ＲＲ和ＦＢ１５Ｋ ２３７在不同模型下的链接预测结果如表３和表４所示。
表３ ＷＮ１８ＲＲ在不同模型下链接预测结果
模型ＭＲＭＲＲＨｉｔ＠１０
ＩＲＮ———
ＫＢＧＡＮ—０．２１３４８．１
ＤＩＳＴＭＵＬＴ５１１００．４３０４９．０
ＣｏｍｐｌＥｘ５２６１０．４４０５１．０
ＣｏｎｖＥ５２７７０．４６０４８．０
ＴｒａｎｓＥ３３８４０．２２６５０．１
ＣｏｎｖＫＢ２５５４０．２４８５２．５
本文方法２４４７０．２５７５６．３表４ ＦＢ１５Ｋ ２３７在不同模型下链接预测结果
模型ＭＲＭＲＲＨｉｔ＠１０
蹇红ＩＲＮ２１１—４６．４
ＫＢＧＡＮ—０．２７８４５．８
ＤＩＳＴＭＵＬＴ２５４０．２４１４１．９
ＣｏｍｐｌＥｘ３３９０．２４７４２．８
ＣｏｎｖＥ２４６０．３１６４９．１
ＴｒａｎｓＥ３４７０．２９４４６．５沙特馆
ＣｏｎｖＫＢ２５７０．３９６５１．７
本文方法２４５０．３９４５４．５
可以看出，本文方法在ＷＮ１８ＲＲ和ＦＢ１５Ｋ ２３７数据集上均获得了最低的ＭＲ和最高的Ｈｉｔ＠１０。具体分析如下：（１）本文方法与ＣｏｎｖＫＢ模型相比，数据集ＷＮ１８ＲＲ在ＭＲ上降低了４．２％，在Ｈｉｔ＠１０上提高了３．８；数据集ＦＢ１５Ｋ ２３７在ＭＲ上降低了４．７％，在Ｈｉｔ＠１０上提高了２．８。（２）在数据集ＷＮ１８ＲＲ上，ＴｒａｎｓＥ模型的ＭＲ指标优于ＣｏｎｖＥ、ＣｏｍｐｌＥｘ等模型；ＴｒａｎｓＥ模型的Ｈｉｔ＠１０指标优于ＣｏｎｖＥ、ＤＩＳＴＭＵＬ等模型。可见，基准模型ＴｒａｎｓＥ在数据集ＷＮ１８ＲＲ上具有很好的表示效果。（３）和其他模型相比，本文方法具有更好的表示能力，也说明了改进的卷积神经网络用于知识图谱补全具有更好的性能。
３．４ 三元组分类
３．４．１ 实验设计
三元组分类即判断知识图谱中三元组的正确性。引用文献［９］提出的三元组分类，设置一个阈值，对于任意给定的三元组，使用式（２）所示的打分函数计算得分，如果这个得分低于阈值，则三元组是正确的，否则为错误。
３．４．２ 实验结果和分析
参照文献［９］，本文使用基准数据集ＦＢ１５Ｋ进行三元组分类实验。实验环境为Ｗｉｎｄｏｗ７６４位系统，物理内存为８ＧＢ。ＦＢ１５Ｋ最优参数为Ｎ＝１００，ｍ＝３００，λ
２
＝０．００００５，ｄｒｏｐｏｕｔ＝０．１。实验结果如表５所示。
表５ 三元组分类实验结果
四个转变可以看出：（１）本文方法取得了９０．５％的准确率，优于ＤＫＲＬ模型，证明在三元组分类这个任务上本文方法效果更好。（２）基于表示学习的嵌入模型效果都要好于ＮＴＮ，说明将关系看作头实体到尾实体的平移的嵌入模型更能表示知识图谱中的数据和区分正确的三元组。
４ 结 语
本文针对知识图谱补全提出一种基于卷积神经网络的方法，利用三元组全局信息，将三元组矩阵作为算法的输入，和不同的卷积核进行卷积操作，得到不同的特征图，将这些特征图进行连接，得到的向量和权重作点积运算产生一个得分，分数越低三元组越正确。
（１）三元组分类实验结果表明，本文方法优于一些传统嵌入模型，在链接预测实验中，在ＭＲ、ＭＲＲ、Ｈｉｔ＠１０指标上有了明显提高，从这三个指标可以看出本文方法解决了知识图谱中数据稀疏问题，提高了知识图谱的完备性。
