五年引⽤量最⾼的10⼤论⽂：Adam登顶，AlphaGo、
识字拼音
Transfromer上榜
编译 | 琰琰
转⾃ | AI科技评论
近五年来，AI学术论⽂的投稿量和接收量都在不断攀升，包括NeurIPS、AAAI、ACL，ICML、EMNLP等国际顶会。根据权威数据统
计，NeurIPS论⽂收录量在2019年呈指数级增长，领先AAAI近300篇；⽽AAAI 在2020年创下历史新⾼，达到了1692篇。
自行车怎么画如何在海量论⽂库中发现最具影响⼒的论⽂，⾕歌引⽤次数是学者们参考的⼀项重要指标，它在⼀定程度上反映了论⽂的质量。
近⽇，知名外媒《Towards Data Science》按这⼀指标，统计了近五年来发表在各⼤国际顶级会上引⽤量排名前⼗的论⽂。
根据统计结果显⽰，Top 10 论⽂引⽤量最⾼为67514次，最低6995次，全部出⾃ICLR、NeurIPSR、NeurIPS、ICML以及《Nature》四家期刊，覆盖深度学习、机器学、强化学习、视觉处理、⾃然语⾔处理等多个领域。其中，智能体AlphaGo、Transfromer模型、强化学习算法DQN，以及神经⽹络优化算法Adam全部在列。
⼤部分论⽂所属研究机构为Google Brain 、Facebook AI Rearch、DeepMind以及Amsterdam University，作者包括我们熟知的AI ⼤佬Ian J. Goodfellow，Kaiming He Thomas Kipf 、Ashish Vaswani 等。
下⾯AI科技评论按引⽤次数从低到⾼的顺序对Top 10 论⽂进⾏简要整理：
Top10：Explaining and Harnessing Adversarial Examples
作者：Ian J. Goodfellow, J Shlens, C Szegedy ，收录于 ICLR 2015，引⽤ 6995次.
该论⽂介绍了快速⽣成神经⽹络对抗性⽰例的⽅法，并引⼊了对抗性训练作为正则化技术。
⼀些机器学习模型，包括最先进的神经⽹络都容易受到对抗攻击。如对数据集中的⽰例故意施加微⼩扰动，模型会对输⼊⽰例进⾏错误分类，从⽽使得扰动的输⼊结果以⾼置信度输出不正确的答案。
对于这⼀现象，早期的处理⽅法集中在⾮线性和过度拟合上。在本篇论⽂中，研究⼈员提出神经⽹络模型易受⼲扰的主要因其线性性质。通过定量实验，他们发现对抗样本在模型结构和训练集之间的泛化，并由此提出了⼀种简单⽽⾼效的⽣成对抗性例⼦的⽅法，即快速梯度符号法（Fast Gradient Sign Method)。
该⽅法的主要思想是让扰动的变化量与梯度的变化⽅向完全⼀致，通过增⼤误差函数，以对分类结果产⽣最⼤变化。他们认为，在构造对抗样本时更应该关⼼扰动的反向⽽不是扰动的数⽬。经实验，该⽅法可以有效减少MNIST数据集上maxout⽹络的测试集误差。
图注：在ImageNet上⽤GoogLeNet快速对抗⽣成的⽰例
影响⼒：本篇论⽂揭⽰了⼀个普遍的现象，即攻击者对输⼊进⾏微⼩的修改就可以显著降低任何精确机器学习模型的性能。这⼀现象已经在其他任务和模式（如⽂本和视频）中观察到，并影响了了⼤量研究⼯作。
Top9：Semi-Supervid Classification with Graph Convolutional Networks
作者：Thomas Kipf 、Max Welling, 收录于ICLR 2017, 引⽤7021次
这篇论⽂证明了图卷积⽹络（GCN）在半监督节点分类任务中性能优越。
论⽂中，研究⼈员提出了⼀种可扩展的图结构数据半监督学习⽅法，该⽅法基于⼀种⾼效地、可直接操作于图的卷积神经⽹络。通过谱图卷积（spectral graph convolutions）的局部⼀阶近似来激励卷积结构的选择，可使模型在图的边数上线性伸缩，并且学习编码局部图结构和节点特征的隐藏层表⽰。
通过在引⽂⽹络和知识图数据集中的⼤量实验，已证实该⽅法⽐相关研究有更⼤的优势。
图注：⽤图卷积⽹络变换图特征实例
影响：新型药物或⾼效能催化剂的发现需要将分⼦建模为图形。图卷积⽹络把深度学习的⼯具带到了图领域，并展⽰了相⽐于此前占主导地位的⼿动⽅法的优越性。
体操队Top8：Unsupervid Reprentation Learning with Deep Convolutional Generative Adversarial Networks
作者：Alec Radford 、Luke Metz et al. 收录于 ICLR 2016, 引⽤ 8681次。
该论⽂提出了⼀种深度CNN结构DCGAN，它在图像⽣成上获得了前所未有的效果。
近年来，卷积⽹络（Convolutional Networks ，CNNs ）的监督学习在计算机视觉应⽤中得到了⼴泛应⽤。相对⽽⾔，使⽤CNNs的⽆监督学习受到的关注较少。在本篇论⽂中，作者弥合了CNNs在有监督学习和⽆监督学习⽅⾯的差距，提出了⼀种被称为深层卷积⽣成式对抗⽹络的CNN，即Deep Convolutional Generative Adversarial Networks ，简称DCGAN。
DCGAN模型的基本组成部分是⽤上采样卷积层替换⽣成器中的完全连接层。其完整体系结构如下：
图注：⽤于LSUN场景建模的DCGAN⽣成器实际利润
本质上，DCGAN是在GAN的基础上提出了⼀种训练架构，并对其做了训练指导，⽐如⼏乎完全⽤卷积层取代了全连接层，去掉池化层，采⽤批标准化(Batch Normalization, BN)等技术；将判别模型的发展成果引⼊到了⽣成模型中；强调了隐藏层分析和可视化计数对GAN训练的重要性和指导作⽤。
图注：通过DCGAN⽣成的卧室图⽰例
DCGAN的⽹络结构可以作为基础架构，⽤以评价不同⽬标函数的GAN，让不同的GAN得以进⾏优劣⽐较。DCGAN的出现极⼤增强了GAN 的数据⽣成质量。⽽如何提⾼⽣成数据的质量（如⽣成图⽚的质量）⼀直是GAN研究的热门话题。
影响：GANs是⼀种机器学习模型，它能够⽣成⼈、动物或物体的新图像，GANs的性能决定了机器学习的创造⼒，以及它在诸多现实场景中的应⽤能⼒。就⽬前来看，该⽅法仍然是所有⽬前GAN模型⽣成图像的基础。
Top 7：Mastering the game of Go with deep neural networks and tree arch
深入进去作者：David Silver 、Aja Huang et al. 2016年被《Nature》收录，引⽤9621次。
这篇论⽂代表了⼈⼯智能历史上的⼀个重要节点，它所描述的分布式AlphaGo第⼀次在围棋游戏中击败⼈类职业选⼿。AlphaGo是DeepMind公司针对围棋游戏⽽开发的AI智能体，其在2016年1⽉⾸次推出便在⾏业内引起不⼩震动。⽽在此之后，DeepMind不断优化智能体，AlphaGo⼜陆续战胜了世界顶级围棋选⼿李世⽯和柯洁。
跳水英文围棋是⼈⼯智能最具挑战性的游戏之⼀。在这篇论⽂中，作者提出了⼀种新的计算围棋的⽅法，该⽅法使⽤“价值⽹络”评估棋⼦的位置，使⽤“策略⽹络”选择落⼦点，通过将两种⽹络与蒙特卡罗搜索树（MCTS）相结合所形成的搜索算法，能够使AlphaGo达到99.8％的获胜率。
变化的成语具体来说，作者采⽤深度卷积神经⽹络，将19*19的棋盘看做是⼀个图像，使⽤⽹络构建棋盘每个位置的表⽰。其中价值神经⽹络⽤于棋⾯局势评估，策略神经⽹络⽤于采样下⼀步动作，这两种⽹络能够有效减少搜索树的宽度和深度。
导向标识
接下来再使⽤管道来组织和训练神经⽹络，管道由多个阶段的机器学习过程构成。第⼀阶段先构建⼀个监督学习策略⽹络, 训练数据来⾃⼈类专家棋⼿的⽐赛数据；
第⼆阶段训练⼀个快速⾛⼦策略, 这个Rollout Policy可以在⾛⼦阶段快速采样获取落⼦点。
图注：AlphaGo采⽤蒙特卡洛树搜索获取最佳的落⼦点
第三阶段训练⼀个强化学习策略⽹络，通过⾃我对弈，在监督学习⽹络最终学习结果基础上调整优化学习⽬标。这⾥的学习⽬标是赢棋，战胜监督学习策略⽹络，⽽原始的监督学习策略⽹络预测的是跟专家⾛法⼀致的准确率。最后阶段训练⼀个价值⽹络，⽤于预测某个棋⾯局势下赢棋的概率。
以上这些离线训练的策略⽹络和价值⽹络能够有效的和蒙特卡罗搜索树（MCTS）结合在⼀起，进⽽在线上进⾏⽐赛。下图是分布式版AlphaGo和⼈类顶级职业棋⼿FanHui进⾏的5局对决的终局棋⾯，AlphaGo以5:0战胜FanHui。
