第4卷第2期
2022年6月
智能科学与技术学报Vol.4No.2
ChineJournalofIntelligentScienceandTechnologyJune2022
智能博弈综述：游戏AI对作战推演的启示
孙宇祥1，彭益辉1，李斌1，周佳炜1，张鑫磊1，周献中1,2
（1.南京大学工程管理学院，江苏南京210093；
2.南京大学智能装备新技术研究中心，江苏南京210093）
摘要：智能博弈领域已逐渐成为当前AI研究的热点之一，游戏AI领域、智能兵棋领域都在近年取得了一系列
的研究突破。但是，游戏AI如何应用到实际的智能作战推演依然面临巨大的困难。综合分析智能博弈领域的国
内外整体研究进展，详细剖析智能作战推演的主要属性需求，并结合当前最新的强化学习发展概况进行阐述。从
智能博弈领域主流研究技术、相关智能决策技术、作战推演技术难点3个维度综合分析游戏AI发展为智能作战
推演的可行性，最后给出未来智能作战推演的发展建议。以期为智能博弈领域的研究人员介绍一个比较清晰的发
展现状并提供有价值的研究思路。
关键词：智能博弈；游戏AI；智能作战推演；智能兵棋；深度强化学习
中图分类号：E91
文献标志码：A
doi:10.11959/.2096−6652.202209
Overviewofintelligentgame:
enlightenmentofgameAItocombatdeduction
SUNYuxiang1,PENGYihui1,LIBin1,ZHOUJiawei1,ZHANGXinlei1,ZHOUXianzhong1,2
ofManagementandEngineering,NanjingUniversity,Nanjing210093,China
chCenterforNewTechnologyinIntelligentEquipmentNanjingUniversity,Nanjing210093,China
Abstract:Thefieldsofrearch
breakthroughshr,howtodevelop
gameAIandapplyittothrallprogressof
rearchinthefieldofintelligentgamesindomesticandoveraswereexplored,themainattributerequirementsofintel-
ligentcombatdeductionwastracked,and
feasibilityofdevelopinggameAIintointelligentcombatdeductionwerecomprehensivelyanalyzedfromthreedimen-
sions:mainstreamrearchtechnologyinthefieldofintelligentgame,relevantintelligentdecisiontechnologyandtech-
nicaldifficultiesofcombatdeduction,andfinally,somesuggestionsforthedevelopmentoffutureintelligentcombatde-
percanintroduceacleardevelopmentstatusandprovidevaluablerearchideasforre-
archersinthefieldofintelligentgame.
Keywords:intelligentgame,gameAI,intelligentcombatdeduction,intelligentwargame,deepreinforcementlearning
0引言
以2016年AlphaGo的成功研发为起点，对智
能博弈领域的研究获得突飞猛进的进展。2016年之
前，对兵棋推演的研究还主要集中在基于事件驱动、
规则驱动等比较固定的思路。到2016年，受AlphaGo
的启发，研究人员发现智能兵棋、智能作战推演的
实现并没有想象得那么遥远。随着机器学习技术的
收稿日期：2021–07–05；修回日期：2021–09–24
通信作者：周献中，**************
基金项目：国家自然科学基金资助项目（No.61876079）
FoundationItem:TheNationalNaturalScienceFoundationofChina(No.61876079)
·158·智能科学与技术学报第4卷
发展，很多玩家十分憧憬游戏中有AI加入从而改
善自己的游戏体验[1]。同时，在智能作战推演领域，
不断发展的机器学习游戏AI技术也为智能作战推
演的发展提供了可行思路[2]。传统作战推演AI主要
以基于规则的AI和分层状态机的AI决策为主，同
时以基于事件驱动的机制进行推演[3-4]。然而，随着
近些年国内外在各种棋类、策略类游戏领域取得新
突破，智能作战推演的发展迎来了新的机遇[5]。
国内游戏AI领域取得了标志性的进步。腾讯
《王者荣耀》的《觉悟AI》作为一款策略对抗游戏
取得了显著成绩，可以击败97%的玩家，并且多次
击败顶尖职业团队[6]。网易伏羲人工智能实验室在很
多游戏环境都进行了强化学习游戏AI的尝试[6]，如
《潮人篮球》《逆水寒》《倩女幽魂》。超参数科技
（深圳）有限公司打造了游戏AI平台“Delta”，集
成机器学习、强化学习、大系统工程等技术，通过
将AI与游戏场景结合，提供人工智能解决方案[7]。
启元AI“星际指挥官”在与职业选手的对抗中也取
得了胜利[8]。北京字节跳动科技有限公司也收购了
上海沐瞳科技有限公司和北京深极智能科技有限
公司，准备在游戏AI领域发力。除了游戏AI领域，
国内在智能兵棋推演领域也发展迅速。国防大学兵
棋团队研制了战略、战役级兵棋系统，并分析了将
人工智能特别是深度学习技术运用在兵棋系统上
需要解决的问题[9]。中国科学院自动化研究所在
2017年首次推出《CASIA-先知1.0》兵棋推演人机
对抗AI[10]，并在近期上线“庙算·智胜”即时策略
人机对抗平台[11]。此外，由中国指挥与控制学会和
北京华戍防务技术有限公司共同推出的专业级兵
棋《智戎·未来指挥官》在第三届、第四届全国兵
棋推演大赛中成为官方指定平台。中国电科认知与
智能技术重点实验室开发了MaCA智能博弈平台，
也成功以此平台为基础举办了相关智能博弈赛事。
南京大学、中国人民解放军陆军工程大学、中国电
子科技集团公司第五十二研究所等相关单位也开
发研制了具有自主知识产权的兵棋推演系统[12-15]。
2020年，国内举办了4次大型智能兵棋推演比赛，
这些比赛对于国内智能博弈推演的发展、作战推演
领域的推进具有积极影响。游戏AI和智能兵棋的
发展也逐渐获得了国内学者的关注，胡晓峰等人[5]
提出了从游戏博弈到作战指挥的决策差异，分析了
将现有主流人工智能技术应用到战争对抗过程中
的局限性。南京理工大学张振、李琛等人利用PPO、
A3C算法实现了简易环境下的智能兵棋推演，取得
了较好的智能性[16-17]。中国人民解放军陆军工程大
学程恺、张可等人利用知识驱动及遗传模糊算法等
提高了兵棋推演的智能性[18-19]。中国人民解放军海
军研究院和中国科学院自动化研究所分别设计和
开发了智能博弈对抗系统，对于国内智能兵棋推演
系统的开发具有重要参考价值[20]。中国人民解放军
国防科技大学刘忠教授团队利用深度强化学习技
术在《墨子•未来指挥官系统》中进行了一系列智能
博弈的研究，取得了突出的成果[21]。中国科学院大
学人工智能学院倪晚成团队提出一种基于深度神
经网络从复盘数据中学习战术机动策略模型的方
法，对于智能博弈中的态势认知研究具有重要参考
价值[22]。
总体来说，国内在智能博弈领域进行了一系列
的研究，尝试将该技术应用到作战推演领域，建立
了具有自主产权的博弈平台，技术层面也不断突
破，不再局限于传统的行为决策树、专家知识库等，
开始将强化学习技术、深度学习技术、遗传模糊算
法等引入智能博弈，取得了一系列的关键技术的突
破。但是，当前的研究主要聚焦在比较简单的智能
博弈环境，对复杂环境及不完全信息的博弈对抗研
究仍然需要进一步探索。
国外游戏AI领域则取得了一系列突出成果，
尤其是深度强化学习技术的不断发展，游戏AI开
始称霸各类型的游戏[23]。2015年DeepMind团队发
表了深度Q网络的文章，认为深度强化学习可以实
现人类水平的控制[24]。2017年，DeepMind团队根
据深度学习和策略搜索的方法推出了AlphaGo[25]，
击败了围棋世界冠军李世石。此后，基于深度强化
学习的AlphaGoZero[26]在不需要人类经验的帮助
下，经过短时间的训练就击败了AlphaGo。2019年，
DeepMind团队基于多智能体（agent）深度强化学
习推出的AlphaStar[27]在《星际争霸II》游戏中达到
了人类大师级的水平，并且在《星际争霸II》的官