为了n

图注意⼒机制GAT和图注意⼒⽹络GCN的区别

GAT和GCN的核⼼区别在于如何收集并累和距离为1的邻居节点的特征表⽰。

图卷积⽹络GCN

图卷积⽹络GraphConvolutionalNetwork(GCN)告诉我们将局部的图结构和节点特征结合可以在节点分类任务中获得不错的表现。美

中不⾜的是GCN结合邻近节点特征的⽅式和图的结构依依相关，这局限了训练所得模型在其他图结构上的泛化能⼒，（GraphSAGE提出

了解决⽅法，⼀种采⽤相同节点特征更新规则的模型，唯⼀的区别是他们将Cij设为了|N(i)|。）。

GCN⼀次节点特征的计算如图，是对相邻节点特征的标准化求和：

等式左侧是第l+1次更新的节点i的特征值，σ是激活函数（GCN⽤的是relu），cij是根据图的结构计算出的标准化常数，因为不同的图结构

计算出的cij不同，所以GCN的泛化性能⽐较差。W是节点特征转换的权重矩阵，将l层的特征计算得l+1层特征，所有节点共享。

图注意⼒⽹络

GraphAttentionNetwork(GAT)提出了⽤注意⼒机制对邻近节点特征加权求和。邻近节点特征的权重完全取决于节点特征，独⽴于图结

构。图注意⼒机制⽤注意⼒机制代替了上述的图卷积中的标准化操作，对节点特征的⼀次更新的过程和计算公式如图：

1.计算值向量：公式（1）对第l层的特征做了⼀次线性变换，W为模型参数，可训练且被所有节点共享。

2.计算对每个节点特征的注意⼒值：公式（2）⾸先对两个节点的特征值做⾸尾拼接，再和可训练共享参数a作点积最后通过激活函数

LeakyReLU。这⼀形式的注意⼒机制通常被称为加性注意⼒，区别于Transformer⾥的点积注意⼒。

3.将注意⼒值转换为权重，便于求加权和：公式（3）对公式（2）的结果做softmax得到注意⼒权重。所谓权重就是0到1的值且和为

1，⽤于做加权平均。

4.求加权和作为输出特征：对求得的值向量作加权和，再通过⼀个激活函数得到输出特征。