2021年4月第4期Vol. 42 No. 4 2021
小型微型计算机系统
Journal of Chine Computer Systems
基于注意力机制融合多阶邻域信息的网络表示学习模型
陈斌，李金龙
(中国科学技术大学计算机科学与技术学院，合肥230027)
E-mail : binchen@ mail. ustc. edu. cn
摘 要：近年来，图神经网络(Graph Neural Networks,GNNs)在网络表示学习领域中发挥着越来越重要的作用.然而，大多数现
有的GNNs 在每一层中只考虑节点的直接相连的(1阶)邻居，忽略了高阶邻域信息.在节点表示学习过程中引入高阶拓扑知识
是一个关键问题.本文中，我们提出了多邻域注意力图卷积网络(Multi-neighboring Attention Graph C
onvolutional Networks ,
MAGCN).首先基于注意力机制使用多个邻域掩码从节点的不同阶邻居中学习多个节点表示，然后使用动态路由算法自适应
地确定这些表示对最终节点表示的贡献，以聚合成最终的节，点、表示.在Cora 、Citeer 和Pubmed 3个引文网络数据集上的节点
分类实验表明，MAGCN 比目前校先进的网络表示学习模型有更高的分类准确率.
关键词：网络表示学习；注意力机制；图卷积；节点分类
中图分类号：TP391
文献标识码:A 文 章编号：1000-1220(2021)04-0761-05
Attention-bad Network Reprentation Learning Model Using Multi-neighboring Information
CHEN Bin,LI Jin-long
(Department of Computer Science and Technology , University of Science and Technology of
China , Hefei 230027, China )
一起一起造句Abstract : In recent years , Graph Neural Networks (GNNs ) have played a prominent role in network reprentation learning area. How
ever ,most existing GNNs only consider the connected (1 -order ) neighbors of the node on each layer. Take the higher-order topological knowledge into node reprentation learning is a key problem. In this paper , we introduced Multi-neighboring Attention Graph Convo
lutional Networks ( MAGCN ). First of all multiple neighboring masks are ud for generating node reprentations from their neighbors
at various hops bad on attention mechanism , a dynamic routing algorithm is then propod to adaptively determine the contributions of the reprentations to the final node reprentation , in order to aggregate into the final node reprentation. The node classification experiments on three citation network datats of Cora, Citeer and Pubmed show that , MAGCN has higher classification accuracy
thanstate-of-the-art network reprentation learning models.
Key words : network reprentation learning ； attention mechanism ; graph convolution ； node classification
1引言
网络表示学习(Network Reprentation Learning ,NRL ), 也称为图嵌入(Graph Embedding,GE)，旨在将图中节点表示
成低维稠密实值向量，然后作为节点的特征被应用于实际应
用任务，如节点分类⑴、链接预测⑵以及图分类⑶等.为了获
好看的搞笑小说男朋友打屁屁得更好的网络表示并且在实际应用任务中获得更好的表现， 需要充分利用图的拓扑结构、节点特征和边的特征(如果可
用)中蕴含的丰富信息.
由于卷积神经网络(Convolutional Neural Network)具有 提取局部空间特征的能力，近年来已经在各种具有挑战性的 任务中被证明是有前景的，特别是在计算机视觉(Computer Vision,CV)和自然语言处理(Natural Language Processing ,
NLP)领域.其底层处理的数据，如图像和文本等都可以表示
为特殊形式的图，都具有规则的网格结构.然而不能将CNN
直接应用于一般形式的图数据，由于存在以下两个问题：1) 图数据中每个节点的邻居大小不一;2)节点的邻居节点没有
固定的顺序.
将CNN 推广应用到图数据上的工作可以分为两大类，分 别为基于频谱(spectral-bad)的方法，和基于空间(spatial bad) 的方法.基于频谱的方法从图信号处理的角度引入滤
波器来定义图卷积，其中图卷积运算被解释为从图信号中去
除噪声，不同方法X)间关键的区别在于滤波器的选择不同.
基于空间的方法则是通过信息传播来定义图卷积，相比于基 于频谱的方法具有更好的扩展性.
Kipf 等人提出的图卷积网络(Graph Convolutional Net work,GCN)t7] 填补了基于光谱方法和基于空间方法之间的
差距，是基于频谱的图卷积的一阶近似，同时采用邻域聚合方
案，将节点特征与相邻节点的特征迭代聚合为节点新的特征.
消息传递神经网络(Message Passing Neural Network ,
mpnn )[8]概述了基于空间的卷积神经网络的一般框架.它把
图卷积看作一个消息传递过程，在这个过程中信息可以沿着
边直接从一个节点传递到另一个节点.为了让信息传递得更
远，可以迭代执行K 步消息传递过程.由于节点的邻居数量
收稿日»1:2020-04-08收修改稿日期=2020-04-24基金项目：国家自然科学基金面上项目(61573328)资助.作者简介：陈 斌，男，1995 年生，硕士研究生，研究方向为网络表示学习、图神经网络、推荐系统等；李金龙，男，1975年生，博士，副教授，研究方向为机器学习、数据挖掘、演 化计算、自然语言处理、网络表示学习等.
762小型微型计算机系统2021年
不一致，可能是1个，也可能是1000个甚至更多，Graph-SAGE⑼对每个节点进行采样，以得到固定数量的邻居，降低了计算时间复杂度.图注意力网络(Graph Attention Network, GAT)[10]在进行邻域聚合时，采用注意力机制为不同的邻居节点分配不同的权重系数，提升了节点分类的性能.
这些方法在一个图卷积过程中只考虑了节点的1阶邻居节点，而忽视了节点的高阶邻域信息.因此在实际使用时通过堆叠多个图卷积层来提升模型性能.GCN在使用两个图卷积层时获得了最佳节点分类性能.然而，当模型变得更深，获取的信息更多时模型反而表现得更差.GCN模型实际上是Laplacian平滑的一种特殊形式，模型越深会引起过度平滑，导致节点无法区分.实际上，图卷积层数的选择仍然是一个有待解决的问题.
由于输入图的结构信息是多种多样的，因此没有统一的规则来确定图卷积层的数量，一种替代方案是在一层中混合不同阶邻居节点的信息.JK-NetM将网络的最后一层与之前的隐层连接起来，然后有选择地利用不同隐层提取的局部信息.MixHopM提出新的图卷积层，使用可训练聚合参数将不同阶邻居节点的信息进行混合.
在本文中，我们提出了一种新的网络表示学习模型，即多邻域注意力图卷积网络(MAGCN)，综合考虑了节点的属性信息、图的局部(1阶邻域)和全局(高阶邻域)结构信息.本文的创新点有以下3点：1)基于注意力机制，使用邻接矩阵的幕作为屏蔽矩阵，生成多个融合各阶邻域信息的节点表示;
2)为了能够获得包含更多信息的节点表示，通过改进的动态路由算法将不同的节点表示自适应地聚合成一个;3)我们在Cora、Citeer和Pubmed3个引文网络数据集上进行了节点分类实验，相比其他方法具有更高的分类准确率.
2多邻域注意力图卷积网络
图1描述了MAGCN模型结构，主要包含两个部分，即多注意力图卷积层和隐状态聚合层.多注意力图卷积层将邻接矩阵的無作为屏蔽矩阵，从各阶邻域提取子结构特征，获得节点的多个中间表示，我们称之为隐状态.隐状态聚合层用于自适应地将局部结构特征聚合在一起作为最终的节点表示.接下来我们将分别介绍这两个组成部分.特征矩阵集合，即节点中间表示，我们称之为节点的隐状态.输出的节点中间表示的个数和使用的邻接矩阵需的个数一致，即，如果我们使用了邻接矩阵的1次,2次，…,K次幕，则输出为H',H2,,H k.
按行J
Softmax
元素级相乘
NxF
e\N
。22e”
X n e H\e N2e NN
X；X；
____
G勺LeakyReLU
NxN
邻接矩阵的幕
节点中间表示
X吐V.'-
圈
邻接聚阵的幕输入图
多邻域图卷积层隐状态聚合层
输出节点表示
图1MAGCN结构图
Fig.1Architecture of MAGCN
2.1多注意力图卷积层
图2展示了多注意力图卷积层的工作流程.该层的输入为图的邻接矩阵A和节点的特征矩阵X,A
是节点个数,F是节点特征的维度.输出是新的节点
图2多注意力图卷积层流程图
Fig.2Workflow of multi-attention graph convolution layer 首先，我们应用线性函数将节点特征矩阵X转换成高级别特征X，，线性函数如公式(1)所示：
X'=[X x',X2',-,X N']=xw,(1)其中是一个可训练权重矩阵,r,.eR F'是第i个节点的高级别特征.X,.'和X/之间的注意力系数e”将由兼容性函数a(X,',X/)计算得到，如公式(2)所示：
心只―)=LeakyReLU{w u X'+w,X'j')(2)其中w”，w”e R尸是可训练参数,LeakyReLU是非线性激活函数.注意力系数e,’衡量了X/和X/之间成对的依赖关系.接下来，我们基于节点之间的连边关系调整注意系数e,”如公式(3)所示：
P\i=A ij e ij(3)如果坞=0，则p"=0，这意味着X,'和X/之间的注意力系数不予考虑•与之相反，如果码=1，则必=e,”这意味着X/和X/之间的注意力系数被保留了下来.更确切地说，只有茁訥被保留，其中N：是第i个节点的一阶邻居.
为了使不同节点之间的注意力系数易于比较，使用soft-max函数对所有注意力系数进行归一化，如公式(4)所示：
◎曲吟⑷
归一化的注意力系数閱接下来将用于计算每个节点的输出特征，如公式(5)所示：
H\=0-(£a,!,.X/)(5)
其中,b(・)是非线性激活函数.
我们将公式(3)中的A替换为邻接矩阵的2次,3次，…, K次無，从而得到第i个节点与它的高阶邻居之间的注意力系数，这样我们就可以为每个节点生成多个输出特征矩阵.这个过程可以用公式(6)来概括.
B*=1[A*
>0]
4期陈斌等：基于注意力机制融合多阶邻域信息的网络表示学习模型763
Pu=B u e u
H：=<7(工囲X/)
其中,Re{2,…，幻,B k是指将邻接矩阵的R次幕中大于o的值置为1得到的矩阵；是图中第i个节点的k阶邻居
节点集合是第i个节点的第k个隐状态,》■(•)是非线性激活函数.
2.2隐状态聚合层
多注意力图卷积层输出了一组节点隐状态
H*]，每一个都捕获了R阶邻居的局部结构信息"w门，…，
K}.为了自适应地将这些隐状态聚合到节点的最终表示形式，我们提出了隐状态聚合层.
首先，我们把节点的隐状态H k(k=l,-,K)视为胶囊:⑷，并通过乘上一个权重矩阵来生成子胶囊(children cap-sule)〃*，然后将这些子胶囊的加权和输入到父胶囊H'中，如公式(7)和公式(8)所示：
fl k=H k W k(7)
H‘=Y*(8)
k
其中,W t eR FxF，是一个权重矩阵;c*是耦合系数，是乞
(从子胶囊到父胶囊的对数先验概率)在觇伽血函数处理下
的结果，如公式(9)所示：
exp(bj
2iexp(b)
(9)
然后我们用一个非线性的“挤压(squashing)”函数皿按
行激活父胶囊H'以得到刃，如公式(10)所示.进一步，我们计
算了被激活的父胶囊和子胶囊之间的一致性，以更新对数先
验概率乞，如公式(11)所示：
~a'：,、
(10)
b k=b k+隔，也=£(HOH k)(11)
其中，G>是元素级(element-wi)乘法，表示H'的第i
行，2表示对所有矩阵元素求和.
这个过程迭代『次后，我们将父胶囊总作为该层的输
眺望造句静和出，即节点的最终特征表示H=更
2.3模型训练
为了训练我们的模型，我们使用节点分类任务构建目标
函数.在隐状态聚合层之后，我们得到了节点的最终特征表示
矩阵H eR NxF，然后我们将其输入到图卷积层(由公式(12)
定义)用于预测未标记节点的标签.
=<T(D-TAbiHW c)(12)其中,A=A+I N用于自连接(lf-connection),l N表示大小为N的单位矩阵,D£R NxN是A的度对角矩阵，W,e Ric”是可学习参数矩阵，C”是节点标签的类数,<r(・)是非线性激活函数.
我们的模型是通过最小化所有带标签节点的交叉炳损失来训练的，如公式(13)所示：
i=-£X YJn時
leyi c»1
其中,M是带标签节点的下标集合,H”"”指的是第/个带标签节点的图卷积层输出的第c项.人表示第I个带标签节点的真实值.
3实验结果与分析
3.1实验数据集
为了验证我们提出的模型(MAGCN)的性能，我们在节点分类任务上与之前的先进模型进行了比较.我们使用了3个基准数据集:Cora,Citeer和Pubmed[,51；这些数据集是引文网络，其中节点表示文档，边表示文档之间的引用，标签表示的是文档所属的类别.每个节点的特征由词袋(bag-of-word)表示，特征的维度由语料库大小决定.对于每个数据集，每种标签下有20个节点用于训练.此外，有500个节点用于验证,1000个节点用于测试.有关这些数据集的详细统计信息，见表1.
表1节点分类实验数据集描述
Table1Details of datats for node classification
数据集Cora Citeer Pumbed 节点数2708332719717
边数5429473244338
节点特征维度14333703500
标签数763
训练样本个数14012060
验证样本个数500500500
测试样本个数100010001000
3.2实验设置
对于节点分类，在多注意力图卷积层中，我们使用了多头注意力机制，即独立运行图卷积多次，然后将所有图卷积后的输出拼接在一起.对于Cora和Citeer数据集，多注意力图卷积层由8个注意力头组成，每个注意力头输出8维特征表示；对于Pubmed数据集，多注意力图卷积层由4个注意力头组成，每个注意力头输出4维特征表示.此外，所有数据集上的邻居阶数最大值均取值为3.
我们使用Adam[,6]随机梯度下降优化器对我们的模型进行训练，以最小化训练节点上的交叉爛，最多
训练3000次，即3000个epochs.Cora,Citeer和Pubmed数据集的学习率分别设置为0.005,0.0085和0.005，厶2正则化的权重分别设置为0.01,0.002和0.005.动态路由迭代次数r设置为3次.我们通过提前停止策略(early stopping strategy)来终止训练，即验证集节点上的交叉炳损失在100个连续的epoch都不下降时结束训练.此外，为了避免过拟合，我们在模型各层之间都使用了Dropout"」，其比率设置为0.5.对于所有数据集，我们运行模型10次，并使用平均分类精度和标准偏差作为最终结果.所有训练都使用Pytorch-1.2.0，以及Fey等人提供的几何深度学习扩展库Pytorch Geometric'181，并在单块Nvidia GTX-1080Ti GPU卡上完成.
3.3节点分类
安逸的意思是什么3.3.1模型对比
我们将我们的模型与DeepWalk[19],Planetoid15Cheby-shev⑷、GCN⑺和GAT[,01进行了比较，这些模型在节点分类
(13)
764小型微型计算机系统2021年
精度方面都是目前最先进的模型.Cora、Citeer和Pubmed数据集上的节点分类精度结果汇总见表2.
表2节点分类任务分类正确率
Table2Test accuracy on node classification
模型Cora Citeer Pumbed DeepWalk[,9^67.2%43.2%65.3%
Planetoid川】75.7%64.7%77.2%
Chebyshev⑹81.2%69.8%74.4%
gcn[7]81.5%70.3%79.0%
GAT[,0]83.0±0.7%72.5±0.7%79.0±0.3%
MAGCN(ours)83.8±0.6%73.3±0.5%79.6±0.3%
对比方法的所有结果均来自其原始文献.结果表明，我们的模型在所有数据集上始终保持最佳性能，这意味着MAGCN确实能够通过探索高阶邻域信息来学习更多的鉴别节点的特征.与GAT直接比较，我们的MAGCN在所有3个数据集上的性能分别提高了0.8%、0.8%和0.6%.注意，与同样使用注意力机制的GAT相比，我们的MAGCN在学习节点表示时仅多考虑了高阶邻居的信息.此外，我们还观察到，与GAT相比,MAGCN在3个数据集上的分类准确率标准偏差更小，这说明MAGCN的训练更稳定.
3.3.2参数分析
在GCN中，叠加多个图卷积层（K层）可以增加一个节点的接受域，使其能覆盖到它的K阶邻居.在我们的MAGCN 中，节点的接受域由邻居阶数的最大值（即K值）参数控制.为了研究邻居阶数的最大值与节点分类性能之间的关系，我们在节点分类任务中使用了不同的K值.结果汇总在表3中，结果表明，随着邻居阶数的最大值增加到3，模型节点分类的性能将会逐步得到改善.但是当邻居阶数的最大值超过3时，即在学习节点表示时，考虑了节点的3阶以上邻居，使得MAGCN可能会从不太相关的邻居那里获取大量信息，从而无法学习合适的节点表示.此外，对于节点分类,GAT模型包含两层，这意味着节点的接受域是它的2阶邻居.通过将邻居阶数最大值的参数设置为2，我们的MAGCN具有与GAT 相同的模型容量，但实验结果显示我们的模型具有更好的表现，如表3中K值取2的行所示.
表3不同K值在节点分类准确率方面的比较
Table3Comparison of difference K interm of node
classification accuracy
K Cora Citeer Pumbed
283.4±0.6%72.6±0.6%79.2±0.3%
383.8±0.6%73.3±0.5%79.6±0.3%
483.6±0.4%72.8±0.5%79.5±0.5%
在GAT中使用多头注意力旨在用来增加模型的容量，但并没有给出具体的解释.为了探寻使用多头注意力机制对提升模型性能是否有效，我们进行了相关实验.通过设置多注意力图卷积层中的相关参数，即使用不同数量的注意力头，每个注意力头输出不同维度的特征表示，其他设置保持不变，在Cora数据集上的实验结果如表4所示.注意，为了使得多注意力图卷积层之后得到的节点表示维度一致，注意力头数量乘上每个注意力头输出表示的维度需保持一致.
表4不同数量注意力头的实验结果
Table4Experimental results of different#heads
#head dimension/head Cora
16483.5±0.8%
23283.6±0.7%
41683.4±0.5%
8883.8±0.6%
从表4的结果来看使用8个注意力头在Cora数据集上的节点分类准确率最高，而使用4个注意力头时标准差更小，训练更稳定.对比只使用单个注意力头，多头注意力机制确实能提升模型的性能.
3.3.3隐状态聚合层的删减实验
设计隐状态聚合层的目的是为了能自适应地聚合从不同阶邻居学习到的节点的隐状态.为了验证它是否有效，我们进行了如下实验：用简单的add操作替换隐状态聚合层.具体来说，在我们得到节点的隐状态之后，直接通过H=H'+H2+H3来计算节点的最终表示.其它部分则保持不变.有/无隐状态聚合层的MAGCN之间的比较结果汇总在表5中，其中MAGCN。表示用add操作代替隐状态聚合层表5有/无隐状态聚合层的MAGCN实验结果Table5Experimental results of MAGCN with/without
hidden state aggregation layer
模型Cora Citeer Pumbed MAGCN。
MAGCN
82.6±0.3%
83.8±0.6%
72.3±0.7%
73.3±0.5%
79.0±0.5%
79.6±0.3%
的MAGCN.结果表明，在Cora、Citeer和Pubmed数据集上，使用隐状态聚合层可以提高模型的性能，准确率分别提高了1.2%J.0%和0.6%.这些结果表明，隐状态聚合层能够合适地确定不同阶邻居信息对最终节点表示的贡献，从而使得最终学到的节点表示更完善.
3.4可视化
对网络表示学习效果的另一种评估方式是对学习到的网络表示进行可视化.Cora数据集的节点共有7种不同的类别标签，很适合进行可视化.我们首先使用MAGCN与node2vec t201模型以及GCN模型学习节点的低维向量表示，然后将学习到的节点向量表示输入到t-SNE[2'〕模型中.t-SNE 会将节点表示映射到二维向量空间中的一个点，即每一个节点在二维空间中有一个坐标，以实现可视化.每一种类别标签对应一种形状，具有相同类别标签的节点在二维空间中对应的点具有相同的形状.
图3展示了不同模型学习到的节点表示的可视化效果.从可视化结果来看，我们的MAGCN可视化效果最好，能观察到明显不同的7个簇，而且簇与簇之间的间隔也相对比较大.由于node2vec只利用了原始网络的结构信息，忽略了节点的属性信息，导致学习到的节点表示在可视化时未能形成明显的簇，具有不同标签的节点混合在一起的情况比较严重，还有数个节点远离了中心.GCN模型的可视化效果较node2vec有了很大的提升，具有相同标签的节点大致分到了
4期陈斌等：基于注意力机制融合多阶邻域信息的网络表示学习模型765
一起，但是簇与簇之间的边界还是不够明显.由于GCN和MAGCN都考虑了节点的属性信息和结构信息，因此可视化
(c)MAGCN
图3Cora数据集t-SNE可视化
Fig.3t-SNE visualization on Cora datat
效果较node2vec更好，此外，由于我们的MAGCN考虑了节点的多阶邻域信息，而且使用了注意力机制，使得我们的模型具有更好的可视化表现.
4结论与展望
在本文中，我们提出了基于注意力机制的融合多阶邻域信息的网络表示学习模型MAGCN，以利用图中蕴含的丰富信息学习节点表示•设计了多注意力图卷积层，用于捕获图的局部和全局结构信息，生成不同的节点表示；隐状态聚合层采用动态路由算法，将不同节点表示聚合在一起，生成最终的节点表示.在3个引文网络上的节点分类任务的实验结果表明，该模型与现有方法相比具有更高的分类准确率•此外，我们的模型具有更好的可视化效果.接下来的工作可考虑寻找一种新的结构，能够根据输入图数据的特征自适应确定使用多少阶邻居信息更合适，并在更多的任务中评估MAGCN的性能.
References:
[1]Bhagat S,Cormode G,Muthukrishnan S.Node classification in so
cial networks[J].Computer Ence,2011,16(3)：115-148.
[2]Bai Yang,Deng Gui-shi.Social network link prediction bad on
ur interaction weighted graph[J].Journal of Chine Computer Systems,2018,39(9)：1988-1992.
[3]Zou Xiao-hong,Guo Jing-fieng,He Shi-qian,et al.Application re
arch on label null model and subgraph distribution algorithm[J].
Journal of Chine Computer Systems,2018,39(5)：1038-1045. [4]Bruna J,Zaremba W,Szlam A,et al.Spectral networks and deep
locally connected networks on graphs[C]//International Conference on Learning Reprentations(ICLR),2014.
[5]Henaff M,Bruna J,LeCun Y.Deep convolutional networks on
graph-structured data[Z].Arxiv Preprint,2015：1506.05163.[6]Defferrard M,Bresson X,Vandergheynst P.Convolutional neural
networks on graphs with fast localized spectral filtering[C]//Neural Information Processing Systems(NIPS),2016；3844-3852. [7]Kipf T,Welling M.Semi-supervid classification with graph conv
olutional networks[C]//International Conference on Learning Reprentations(ICLR),2017.
[8]Gilmer J,Schoenholz S S,Riley P F,et al.Neural message passing
for quantum chemistry[C]//International Conference on Machine Learning(ICML),2017：1263-1272.
[9]Hamilton W,Ying Z,Leskovec J.Inductive reprentation learning
创业想法
on large graphs[C]//Neural Information Processing Systems (NIPS),2017:1024-1034.
[10]Velickovic P,Cucurull G,Casanova A,et al.Graph attention net
works[C]//International Conference on Learning Reprentations (ICLR),2018.
[11]Li,Qimai,Han,et al.Deeper insights into graph convolutional net
works for mi-supervid learning[C]//Association for the Advancement of Artificial Intelligence(AAAI),2018：3538-3545. [12]Xu K,Li C,Tian Y,et al.Reprentation learning on graphs with
jumping knowledge networks[C]//International Conference on Machine Learning(ICML),2018：5453-5462.
[13]Abu-El-Haija S,Perozzi B,Kapoor A,et al.MixHop:higher-order
graph convolution architectures via sparsified neighborhood mixing
[C]//International Conference on Machine Learning(ICML),
2019：21-29.
[14]Sabour S,Frosst N,Hinton G.Dynamic routing between capsules
[C]//Neural Information Processing Systems(NIPS),2017:3856-
3866.
[15]Yang Z,Cohen W,Salakhudinov R.Revisiting mi-supervid learn
ing with graph embeddings[Z].Arxiv Preprint,2016:1603.08861. [16]Kingma D P,Ba J.Adam：a method for stochastic optimization
[Z].Arxiv Preprint,2014：1412.6980.
[17]Srivastava N,Hinton G,Krizhevsky A,et al.Dropout:a simple way
to prevent neural networks from overfittingf J].The Journal of Machine Learning Rearch,2014,15(1)：1929-1958.
[18]Fey Matthias,Lensn Jan E.Fast graph reprentation learning
with PyTorch geometric[C]//International Conference on Learning Reprentations(ICLR),2019.
[19]Bryan Perozzi,Rami Al-Rfou,Steven Skiena.DeepWalk:online
learning of social reprentations[C]//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD), 2014：701-710.
[20]Grover A, Leskovec J.Node2vec:scalable feature learning for net
works[C]//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(KDD),2016：855-864.
[21]Van der Maaten L,Hinton G.Visualizing data using t-SNE[J].
Journal of Machine Learning Rearch,2008,9(11)：2579-2605.附中文参考文献：
[2]白杨，邓贵仕.结合用户互动加权图的社交网络链接预测
[J].小型微型计算机系统,2018,39(9):1988-1992.
[3]邹晓红，郭景峰，贺释千，等.标签零模型及子图分布算法应用研
究[J].小型微型计算机系统
,2018,39(5):1038-1045.傲然挺立的意思
