百度识图以图搜图

twitter如何以图搜图_没有完整图时，如何使⽤图深度学习？你

需要了解流形学习2.0版本...

原标题：没有完整图时，如何使⽤图深度学习？你需要了解流形学习版本

流形学习，⾃2000年在著名的科学杂志《Science》被⾸次提出以来，已成为信息科学领域的研究热点。可能很多⼈会问，流形学

习有什么⽤呢？⾸先流形学习可以作为⼀种数据降维的⽅式，第⼆，流形能够刻画数据的本质。其主要代表⽅法有等距映射、局部线

性嵌⼊等。那么，具有流形学习之称的潜图学习⽅法如何呢？

⾃从神经⽹络提出以来，其在⼈脸识别、语⾳识别等⽅⾯表现出卓越的性能。以前需要⼈⼯提取特征的机器学习任务，现在通过端到端的⽅

法就能解决。

传统的深度学习⽅法在提取欧⽒空间数据(⽐如图⽚是规则的正⽅形栅格，语⾳数据是⼀维序列)的特征⽅⾯取得了巨⼤的成功。但是，在许

多任务中，数据不具备规则的空间结构，即⾮欧⽒空间下的数据，如电⼦交易、推荐系统等抽象出来的图谱，图谱中每个节点与其他节点的

连接不是固定的。在经典的CNN、RNN等框架⽆法解决或效果不好的情况下，图神经⽹络应运⽽⽣。

图左(红框)：欧⽒空间数据；图右：⾮欧⽒空间数据。

图神经⽹络利⽤关系归纳偏置来处理以图形式出现的数据。然⽽，在许多情况下，并没有现成的图。那么图深度学习适⽤于这类情形吗？本

⽂将介绍潜图学习(latentgraphlearning)和更早的流形学习(manifoldlearning)。

潜图学习

在过去的⼏年⾥，⼈们对使⽤机器学习⽅法处理图结构数据产⽣了浓厚的兴趣。这类数据⾃然也出现在许多应⽤中，例如社会科学(如

Twitter或Facebook上的⽤户Follow图)、化学(分⼦可被建模为键连接的原⼦图)或⽣物学(不同⽣物分⼦之间的相互作⽤通常被建模为

相互作⽤组图)。图神经⽹络(GNN)是⼀种特别流⾏的图学习⽅法，该算法通过在相邻节点之间交换信息的共享参数进⾏局部操作。

然⽽，在某些情况下，没有现成的图可以作为输⼊。在⽣物学中尤其如此，诸如蛋⽩质-蛋⽩质相互作⽤的图只有部分已知，因为发现蛋⽩

质相互作⽤的实验费⽤昂贵，⽽且噪声很⼤。因此，研究者从数据中推断出图并在其上应⽤GNN，并将其称为「潜图学习」。潜图学习特

定于应⽤，并针对下游任务进⾏了优化。此外，有时这样的图可能⽐任务本⾝更重要，因为它可以传达关于数据的重要洞察，并提供解释结

果的⽅法。

潜图学习是学习具有空边集的图。在这⼀设置中，输⼊为⾼维特征空间中的点云。在集合上进⾏深度学习的⽅法(如PointNet)对每个点应

⽤共享可学习point-wi函数，与之不同，潜图学习还寻求跨点信息传递。

DGCNN

点云动态图卷积神经⽹络(DGCNN)是第⼀个这样的架构，该架构由⿇省理⼯学院的YueWang开发。受计算机图形学中涉及3D点云分析

问题的启发，该架构将图⽤作点云下局部光滑流形结构的粗略表⽰。Yue的⼀个重要发现是，图在整个神经⽹络中不需要保持不变，事实

上，它可以⽽且应该动态更新——因此该⽅法被命名为DGCNN。

DGCNN动态构造⼀个⽤于特征扩散的k近邻图。图依赖于任务，并在每个层之后更新。这幅图(摘⾃[4])展⽰了与红点的距离(黄⾊代表更

近的点)，表明在分割任务中，更深层次的图捕捉语义关系⽽不是⼏何关系，如成对的机翼、发动机等。

DGM

DGCNN的⼀个局限性是⽤相同的空间来构造图和图上的特征。AneesKazi和LucaCosmo提出了⼀种新的架构——可微图模块

(DGM)，通过对图和特征构造进⾏解耦来扩展DGCNN，如下图所⽰：

DGM提供了⼀种基于输⼊数据构造图并在图上扩散特征的机制。(图源：[5])

当应⽤于医学领域问题时，DGM显⽰出优秀的结果，例如根据脑成像数据预测疾病。在这些任务中，研究者获取到多个患者的电⼦健康记

录，包括⼈⼝统计学特征(如年龄、性别等)和⼤脑成像特征，并尝试预测患者是否患有神经系统疾病。之前的⼯作展⽰了GNN在这类任务

中的应⽤，⽅法是在⼀个根据⼈⼝统计学特征⼿⼯构建的「病⼈图」上进⾏特征扩散。⽽DGM提供了学习图的优势，可以传达某些特征在

特定诊断任务中是如何相互依赖的。其次，DGM在点云分类任务中也击败了DGCNN，不过优势很⼩。

流形学习

DGCNN和DGM在概念上与流形学习或⾮线性降维算法相似，流形学习很早就已出现并流⾏，且⽬前仍⽤于数据可视化。流形学习⽅法的

基本假设是数据具有内在的低维结构。虽然数据可以在数百甚⾄数千维的空间中表⽰，但它却只有⼏个⾃由度，⽰例如下：

虽然这个数据集中的⼿部图像是⾼维的(64x64像素构成4096个维度)，但它们本质上是低维的，可以⽤两个⾃由度来解释：⼿腕旋转和

⼿指伸展。流形学习算法能够捕捉数据集的这种内在低维结构，并将其在欧⼏⾥德空间中进⾏表⽰。(图源[9])

再⽐如球⾯上的⼀点(即三维欧式空间上的点)，可以⽤三元组来表⽰其坐标：

但事实上这个三维坐标只有两个变量θ和φ，也可以说它的⾃由度为2，正好对应了它是⼀个⼆维的流形。

流形学习的⽬的是捕捉这些⾃由度，并将数据的维数降⾄其固有维数。流形学习与PCA等线性降维⽅法的重要区别在于，由于数据的⾮欧

⼏⾥德结构，我们可能⽆法通过线性投影恢复流形。如下图所⽰，线性降维(左)为线性降维，流形学习(右)为⾮线性降维。

流形学习算法在恢复「流形」⽅法上各不相同，但它们有⼀个共同的蓝图。

⾸先，创建⼀个数据表⽰，通过构造⼀个k近邻图来获取其局部结构。其次，计算数据的低维表⽰(嵌⼊)，并试图保留原始数据的结构。这

是⼤多数流形学习⽅法的区别所在。这种新的表⽰将原来的⾮欧⼏⾥德结构「展平」成⼀个更容易处理的欧⼏⾥德空间。第三，⼀旦计算出

表⽰，就会对其应⽤机器学习算法(通常是聚类)。

多种流形学习⽅法的蓝图：⾸先，将数据表⽰为图；其次，计算该图的低维嵌⼊；第三，将ML算法应⽤于这种低维表⽰。

这其中⾯临的⼀项挑战是图构建与ML算法的分离，有时需要精确的参数调整(例如邻域数或邻域半径)，以确定如何构建图才能使下游任务

正常运⾏。流形学习算法更严重的缺点或许是：数据很少表⽰为低维的原始形式。例如，在处理图像时，必须使⽤各种⼈⼯制定的特征提取

技术作为预处理步骤。

图深度学习提供了⼀种现代⽅法，即⽤单个图神经⽹络代替上⽂提到的三个阶段。例如，在DGCNN或DGM中，图的构造和学习是同⼀

架构的⼀部分：

潜图学习可以看作是流形学习问题的⼀种现代设置，在这⾥，图被学习并⽤作某些下游任务优化的端到端GNNpipeline的⼀部分。

这种⽅法的吸引⼒在于：将单个数据点和它们所在的空间结合在相同的pipeline中。在图像的例⼦中，我们可以使⽤传统的CNN从每个图

像中提取视觉特征，并使⽤GNN来建模它们之间的关系。

PeerNet是标准CNN中基于图的正则化层，可聚合来⾃多个图像的相似像素，从⽽降低对对抗性扰动的敏感性。(图源[12])

潜图学习的其它应⽤

潜图学习还有许多其他有趣的应⽤。

第⼀是少样本学习：利⽤基于图的⽅法从少量样本中进⾏归纳(重点：只需要少量带有标注的样本)。在计算机视觉中，数据标注量从⼏

千到上万不等，成本很⾼，因此少样本学习变得越来越重要。

第⼆是⽣物学领域：⼈们经常通过实验观察⽣物分⼦如蛋⽩质的表达⽔平，并试图重建它们的相互作⽤和信号⽹络。

第三是对物理系统的分析：其中图可以描述多个对象之间的交互作⽤。尤其是处理复杂粒⼦相互作⽤的物理学家，最近对基于图的⽅法

表现出了浓厚的兴趣。

第四是NLP问题：在NLP领域中，图神经⽹络可以看作是transformer架构的泛化。所提到的许多问题也提出了在图结构中加⼊先

验知识，这⼀结构在很⼤程度上仍然是开放的：例如，⼈们可能希望强迫图遵守某些构造规则或与某些统计模型兼容。

潜图学习，虽然不是全新的领域，但它为旧问题提供了新的视⾓。对于图机器学习问题⽽⾔，这⽆疑是⼀个有趣的设置，为GNN研究⼈员

提供了新的⽅向。

【转载声明】转载⽬的在于传递更多信息，并不代表⼩编赞同其观点和对真实性负责。如涉及作品内容、版权和其它问题，请在30⽇内与

本⽹联系，我们将在第⼀时间删除内容！返回搜狐，查看更多

责任编辑：