基于隐马尔可夫模型的机器人足球赛场态势评估

2024年3月15日发(作者：怎么制作新年贺卡)

第１２卷第４期２０１２年２月　

科学技术与工程　

Ｖｏ１Ｊ　１２　Ｎｏ．４　Ｆｅｂ．２０１２　

１６７１—１８１５（２０１２）０４－０７８９—０５　

Ｓｃｉｅｎｃｅ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｅｎ￣ｎｅｅｆｉｎｇ　

⑥２０１２　Ｓｃｉ．Ｔｅｃｈ．Ｅｎｇｒｇ．　

计算机技术　

基于隐马尔可夫模型的机器人　

足球赛场态势评估　

李长江李孝安　

（西北工业大学计算机学院，西安７１０１２９）　

‘　

摘要针对机器人足球赛场态势评估问题，提出一种基于隐马尔可夫模型（ＨＭＭ）的机器人足球赛场态势评估模型。通过　

对赛场信息进行提取和量化，抽象出７个相关态势因素，作为ＨＭＭ模型的输入数据。通过采用改进的Ｂａｕｗ—Ｗｅｌｃｈ算法优化　

ＨＭＭ的参数，从而获得赛场态势评估结果。实验结果表明，所提出的方法能较好地满足赛场实时性和准确性的要求，可以为　

球场上对应策略的变更提供及时、可靠的依据。　

关键词机器人足球　态势评估　隐马尔可夫模型　Ｂａｕｗ—Ｗｅｌｃｈ算法　

中图法分类号ＴＰ２４２．６　Ｔ／ｒ３１１；　文献标志码Ａ　

在机器人足球比赛中，态势评估系统通过传感　针对赛场态势评估存在的实时有效性问题，本　

器或其它途径获得球场上的信息形成当前球场的　文提出一种基于隐马尔可夫模型（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　

特征向量，并以此作为态势评估框架的输入项。通　Ｍｏｄｅｌ，ＨＭＭ）的机器人足球赛场态势评估模型。实　

过分析和处理，输出对当前赛场态势的合理评估结　验表明态势评估的结果较好的满足了实时性及准　

果。态势评估结果的实时性和准确性，直接影响策　确性要求，可以为决策层策略的变更提供更加客观　

略变更的有效性，影响球队战法的实施及综合实力　

有效的依据。　

的发挥，体现机器人足球的智能水平。　

二二十多年来，态势评估在军事、网络和语音图　

１赛场态势评估模型　

像等领域中主要理论和技术成果有：态势评估时间　

在机器人足球比赛中，赛场态势评估模型通过　

推理方法、用于军事态势评估的分布式人工智能　

平台获得球场上各种信息参数，经过预处理提取赛　

（ＤＡＩ）协作知识模型、用于态势特征和态势匹配的　

场态势特征，量化后作为态势评估框架的输入，通　

条件代数方法、模板匹配算法、计划识别理论、贝叶　

过分析和处理，输出对当前赛场态势的合理评估结　

斯网络方法、不确定性因果推理、神经网络、黑板结　

果，提供给策略决策层。　

构、人工势场等方法。目前国内关于态势评估的研　

１．１态势要素　

究主要以信息融合、人工智能、不确定性信息处理　

考虑到机器人足球状态空间的复杂性，如果选　

为主，主要采用计划识别、模糊推理、模板匹配、贝　

取的评判因素过多，将导致状态空间的爆炸。通过　

叶斯网络等技术为主，还有学者提出一些新颖的思　

融入专家的经验和实际的比赛分析验证，确定了影　

路，如人工势场、集对分析等。这些研究成果从不　

响比赛态势的７个关键因素　２　如表１。　

同的侧重，但距离实用化的距离还很远　ｊ。　

１．２态势表示　

在５　５机器人足球仿真比赛中，通常将策略　

２０１１年１１月１５日收到　

分为五类：加强进攻、进攻、攻守平衡、防守、加强防　

第一作者简介：李长江（１９７９一），男，山东嘉祥人，汉族，硕士研究　

守。态势的划分是以策略的划分为依据的，我们定　

生，研究方向：多媒体智能信息处理，Ｅ—ｍｍｌ：ｌ￣ｚｈｈｒ＠１６３．ｃｏｒｎ。　

义当前赛场应该采取的最佳策略所对应的态势为　

通信作者简介：李孝安（１９６５一），男，陕西西安人，汉族，硕士导　

当前态势，例如当前赛场应该采取的最佳策略是加　

师，研究方向：自然计算技术、多智能体机器人系统、机器学习、实　

强进攻，那么当前的态势就是非常有利。　

时智能测控技术。　

７９０　

表１赛场态势关键因素　

关键因素　

比分差　

科学技术与工程　１２卷　

表达公式　

ＡＳ＝Ｓ　一Ｓ　

双方进球数之差　

～一　一一Ｐ一ｐ　　一　：　一　一　

备注　

先确定两个状态集合数Ⅳ，　，然后确定ＨＭＭ的三　

个矩阵参数７ｒ，Ａ，Ｂ。　

比赛进行　

０　

时间比率　

，７　

比赛进行时间占总时间的比率　

球的位置　球的横坐标　

控球能力　

Ｃ　我方总控球次数　

射门能力　Ｐ　我方射门成功率　

场控能力　

ｔ　表示球在我方半场的时间　

拦截能力　［　（　＋　）＋ｓ　（一　）表示我方总拦截次数　

Ｓｔｐ

ｅ

（　＋Ｉ１］　

在机器人足球比赛中，赛场的五个态势分别与　

赛场的五个策略相对应，每个策略都有相应的赛场　

布阵打法也就是场上队形，策略、态势和队形的对　

应关系如表２所示。比赛的实质就是根据态势变化　

调整策略，比赛的关键是要实时准确地调整比赛策　

略来控制场上队形，而比赛策略的调整依据赛场态　

势的变化，赛场态势变化的获取通过态势评估系　

统，由此态势评估系统在比赛中起着举足轻重的　

作用。　

表２策略、态势和队形的对应关系　

２基于ＨＭＭ的赛场态势评估　

２．１赛场态势的Ｉ玎Ⅵ】Ⅵ模型　

ＨＭＭ可以用一个五元组来描述　Ｊ：　

Ａ＝（Ｎ，Ｍ，盯，Ａ，Ｂ）。　

其中，隐含状态数目Ⅳ，可观测值数目　，初始态势　

概率矩阵仃，态势转移矩阵Ａ以及观测值概率矩　

阵　。　

结合机器人足球赛场态势，使用ＨＭＭ建模，首　

通常足球机器人赛场态势有Ｎ＝５个，用０＝　

｛０。，０２，…，０　｝表示，则机器人足球赛场态势之间的　

转移构成了一个全连接互转Ｍａｒｋｏｖ链如图１所示。　

我们选取影响比赛态势的关键因素Ｍ＝７个（如表　

１），组成赛场状态为Ｖ＝｛　，　，…，　，…，　｝，１≤　

ｍ≤７，而每一个状态ｑ　对应的是一个随机观测序列　

为０　＝｛　０　，０２，…，０　，…，０７｝，１≤ｒｎ≤７，显然Ｏ　

是特征信息　的实时量化表达值，由此采用一个　

离散结构的ＨＭＭ建模。　

图１赛场态势互转Ｍａｒｋｏｖ链　

定义一个三元组（７ｒ，Ａ，Ｂ），其中初始状态矩阵　

７ｒ，表示计算初始赛场处于各个态势的概率矩阵７ｒ：　

（７『ｌ，７ｒ２，…，７ｒ　，…，７ｒ５），其中７ｒ　＝Ｐ（ｇ１＝０　），１≤　

ｉ≤５。态势转换矩阵Ａ，即赛场态势之间转换的概　

率，０　表示在ｔ时刻态势为０　，那么到ｔ＋１时刻态势　

为　的概率，即口　ｆ＝ｐ（ｑ…＝　ｑ　＝０　），１≤ｉ，　≤５。　

观察矩阵　，即赛场处于某一个特定态势的时候，感　

知到关键因素的概率，Ｂ　表示在时刻ｔ赛场处于ｑ　

状态感知到　的概率，即，１≤ｍ≤７，１≤凡≤５。　

这样，就构建了赛场态势和各特征因素之间的　

各状态互转的离散ＨＭＭ，Ａ＝（仃，　，Ｂ）。根据ｔ时　

刻感知的特征因素序列０　＝｛０　，０　，…，０　｝和　

ＨＭＭ模型参数，就可以计算出当前赛场处于各种　

态势的概率即为赛场态势评估结果，也就是在ｔ时　

刻赛场态势的分布为ｒ　＝｛ｒｆ（ｉ）｝，１≤ｉ≤５其中。　

２．２　Ｉ－ＩＭＭ算法优化　

一

般来讲建立ＨＭＭ模型，采用三种比较成熟　

的算法来解决ＨＭＭ的三个基本问题　Ｊ：：　

（１）前向一后向算法解决态势评估问题，也就　

４期　李长江，等：基于隐马尔可夫模型的机器人足球赛场态势评估　７９１　

是概率Ｐ（ｏｌＡ）的计算问题：给定观察序列０＝０　，　

０　，…，０　和模型参数Ａ＝（７ｒ，Ａ，　，来有效地计算　

给定模型的观察序列的概率Ｐ（０ＩＡ）。　

（２）Ｖｉｔｅｒｂｉ算法解决解码问题，也就是最佳状　

态链的确定问题：给定观察序列０＝０　，０　，…，０　

和模型参数Ａ：（７ｒ，Ａ，Ｂ），选择另一个状态序列　

式（４）中　

＝　

∑　’（　）　

Ｌ—～　（４）　

∑“　（　，　

‘　（　，　）＝∑　

Ｌ　Ｊ　

）　（．『）Ｖ　（　√，￡）＝　

Ｑ　＝ｑ　，ｑ　，…，ｑ　，使它在当前赛场态势下能最好　

‘　（　）　

地解释观察情况。　

（３）Ｂａｕｍ．Ｗｅｌｃｈ算法解决学习问题，也就是　

ＨＭＭ的参数优化（或参数估计）问题：调整模型参　

数Ａ＝（７ｒ，　，　），使ｐ（０ＩＡ）达最大。这是ＨＭＭ在　

应用中的关键问题，与前两个问题相比，这也是最　

困难的一个问题。　

但是，在机器人足球赛场环境下，Ｂａｕｍ—Ｗｅｌｃｈ　

算法还存在着严重的上、下溢问题。这是因为在前　

馈和反馈过程中计算前馈变量式（１）和反馈变量式　

（２）时，它们是由多个小于１的实数连乘得到的，所　

以随着时间的推移，两个变量的值将有可能趋于０。　

但计算机所能表达的数值范围毕竟有限，当状态输　

出概率取较大或较小的数量时，累积计算的结果可　

能超出计算机浮点数范围，而产生上、下溢问题。　

但我们机器人足球比赛过程中又不允许人工介人，　

为解决这一问题采用自动计算比例因子算法｜７　与　

Ｂａｕｍ．Ｗｅｌｃｈ算法相结合。　

口　（　）＝Ｐ（０１，０２，…，０　，ｑ　＝０　ＩＡ），１≤　≤Ｔ　（１）　

／３　（　）＝Ｐ（０　一１，０　一２，…，０　Ｉｑ　＝０　，Ａ），１≤ｔ≤Ｔ一１　

（２）　

依据参数估算公式　为　．　

［∑仅　）　（．Ｊ．）　（　，ｆ）］　

＝

专Ｉ－　———————一（３）　

＝ｌ　

［∑　

Ｄ（　）　

）　（　）Ｗ‘　（　√，　）］　

式（３）中，　为迭代计算模型参数的估算值，它可以　

是ＨＭＭ的　，０　或者是态势转移概率Ｐ的均值或　

方差，Ｋ为训练样本总数，各元素右上角的（ｋ）代表　

该元素对应第ｋ个训练样本，　”（ｉ，＿『，ｔ）与　’（　，　

Ｊ，ｔ）都是前次迭代值　的函数，曰　’与Ｄ　’分别代表　

相应的求和空间。　

为了描述自动比例因子计算算法，将上式写　

∑∑　

，ｔ　１　

）　（　）Ｖ　（　，　，　）　（５）　

（　，　）＝∑　）　’（　）　（　，　，ｆ）＝　

曰‘　Ｊ　

（　）　

∑∑　）　’（　）　（　，　，　）（６）　

Ｄ）　Ｊ　ｔ　

＝

Ｂ‘　一｛ｔＩ１≤　≤　｝，　’＝Ｄ‘　一｛ｔＩ１≤　≤　｝　

（７）　

为了防止上、下溢现象，在计算比例因子时，要　

考虑所有将被修整的量，比例因子　的计算式为　

Ｎ　Ｎ　Ｎ　

．一

１　

＝

Ｉ∑　（　√）＋∑　（　）＋∑∑　（　）Ｉ　，　

Ｈ∈｛　ｌ　１≤　≤　，Ｔ　＞￡）　（８）　

式（８）中　（ｉ√）和　（ｉ，ｊ）分别用　一　正规化　（ｉ，Ｊ）　

和　（ｉ，　）得到，　

（　，　）＝　（　，　）＝　∑　（　，　）　（９）　

Ｌ　，＜ｔ　

（　，　）＝　（　√）＝　∑　‘　（　，　）　（１ｏ）　

其中　（　√）和五（ｉ，ｊ）分别相当于用　，ｔ＝１，…，ｔ一　

２正规化后的　‘　’（ｉ，　）和Ｍ‘　’（ｉ，Ｊ）。在每次不仅用　

修整五（・），同时也应修整　（ｉ，　）和　（ｉ，　）。最　

后计算　

＝　

（１１）　

“　‘，Ｊ，　

２．３　ｔｔＭＭ参数训练　

机器人足球态势评估系统采用离散的隐马尔　

可夫模型，具体实现步骤如下　］：　

首先要建立各态势的ＨＭＭ，每种态势用具有５　

种隐状态性质的７个关键因素量化值来描述；　

其次收集整理训练数据形成数据库：赛场状态　

信息必须经过预处理后才能作为隐马尔可夫模型　

的训练数据，预处理主要包含赛场特征即关键因素　

的提取及关键因素的量化。其中关键因素的量化　

是用７个离散的量化值来表示各态势的特征，这样　

简化了赛场状态评估的复杂度，计算量小，同时也　

７９２　科学技术与工程　１２卷　

便于实现：　

然后训练隐马尔可夫模型：模型训练是基于隐　

马尔可夫方法的重要步骤之一，它可以使模型参数　

最为理想地适应观察到的赛场状态训练数据。将　

训练集中的各个矢量序列量化为观察值序列，利用　

Ｂａｕｍ—ｗｅｌｃｈ算法与自动计算比例因子算法相结合，　

逐步调整离散ＨＭＭ系统的模型参数，以使得模型　

产生观察序列的概率不断增加并达到一个极大　

值点。　

最后测试评估模型：赛场状态评估系统采集到　

平台输出信号经数据预处理，求解特征向量获取赛　

场７个关键因素值并量化组成一个序列，然后分别　

采用各种态势训练得到的ＨＭＭ进行概率推理，得　

到各种赛场状态对应的ＨＭＭ的概率值，ＨＭＭ对应　

的概率最大的态势即为系统当前赛场状态，验证评　

估结果的准确性。　

直观地来讲，ＨＭＭ训练是采集某赛场态势的　

系统输出源信息，通过预处理、特征向量（关键因　

素）采集、特征向量的量化、再将量化后特征向量利　

用Ｂａｕｍ．Ｗｅｌｃｈ算法和自动计算比例因子算法相结　

合训练ＨＭＭ，得到该态势对应的ＨＭＭ如图２　

所示。　

采　该　

集　关　关　态　

态　预　键　键　训　势　

输　◆　处　◆　素　

势　因　

－

ｌｂ．　

因　＿

素　

．．　练　◆　对　

出　理　采　量　｝珏　ｄ　应　

信　集　化　的　

号　ｄ　

图２　ＨＭＭ赛场态势训练　

２．４赛场态势评估处理流程　

赛场态势提取是利用已经训练好的模型，通过　

ＨＭＭ的求解得到的，可分为特征提取、态势划分和　

态势提取三个部分如图３所示。赛场态势评估系统　

采集到平台输出信号经数据预处理，求解特征向量　

获取赛场７个关键因素并量化组成一个序列，然后　

分别采用各种态势训练得到的ＨＭＭ进行概率推　

理，得到各种赛场态势对应的ＨＭＭ的概率值，ＨＭＭ　

对应的概率最大的态势即为系统当前赛场态势。　

特征提取　念势划分　

一一　’’　’’。。。’’’’　

１　删　ｌ（非常小剁）　

采　

集　

输　

预　

求　

解　

特　

标　

准　量　

Ｈ删２　，不利）　

出　■　处　■　征　■　化　■　标　●ｈ　

化　

Ｈ删３　一般）　

信　理　向　

值　

幅　

豢　Ｈ　瑚４　｜有利）　

号　曩　

Ｈ涮５（非常有利）　

态　

势　

提　

取　

图３赛场态势提取　

３实验　

基于ＨＭＭ的机器人足球赛场态势评估，在每　

一

个时间周期内，系统获取赛场信息集，得到大量　

待处理数据，然后进行预处理，提取关键因素，并对　

关键因素进行量化；合并经过量化的赛场态势关键　

因素，利用训练好的ＨＭＭ进行当前态势的评估，得　

到基于概率的态势分类结果，数值代表当前赛场态　

势属于对应态势的概率，取最大值对应的态势作为　

当前赛场的态势评估结果。　

此项实验中，我们要验证基于隐马尔可夫模型　

建立的态势评估模型评估出的结果与人们观看不　

比赛得出的结果有多少误差。如果误差很小，那么　

我们可以认为该模型对赛场态势的评估真实有效，　

可以为高层决策提供正确的建议。　

在ＭｉｒｏＳｏｔ５ＶＳ５仿真平台下分别用２００６年世　

界强队一武科ＤＥＭＯ版作为黄队，西北工业大学基于　

ＨＭＭ的态势评估版本作为蓝队进行比赛并录像。　

比赛进行到某时刻的ＨＭＭ数据，包括模型输人数　

据即七个关键因素和模型输出数据即态势评估结　

果，与赛后观看录像人工统计的相应数据相比较，　

经过数据分析来验证态势评估结果的有效性，如表　

３所示。　

为了进一步验证态势评估结果的有效性，我们　

又组织了５３场比赛，每场比赛只随机抽取一个时间　

节点，总结这５４次不同场次不同时间节点的ＨＭＭ　

数据分别与我们赛后的客观评价相比较，结果表明　

４期　李长江，等：基于隐马尔可夫模型的机器人足球赛场态势评估　７９３　

主要存在关键因素微小误差，对态势分析结果的准　

略之间的吻合程度，反映策略变更的有效性，体现　

确率达９８．１５％，态势评估结果的准确性得到了保　

球队综合实力的发挥。态势评估的实时性决定着　

证，这将为决策层进行策略选择起到很重要的基础　

该模型的生存空间，是态势评估准确性的前提条　

性作用。　

件，而且随着赛场条件的开放，其要求会越来越高。　

表３某时间点态势数据比较　

本文以机器人足球比赛为应用背景展开了基　

于ＨＭＭ的态势评估研究。结果表明，基于ＨＭＭ的　

机器人足球赛场态势评估系统能较好地满足实时　

性和准确性的要求，可以为球场上对应策略的变更　

提供及时、可靠的依据。　

参考文献　

１黄玺瑛，赵定海．态势评估研究现状初探．科协论坛，２００９；（４）　

（下）：９４—９５　

２王斌．机器人足球比赛态势分析与性能评测系统研究．西安：　

西北工业大学硕士研究生学位论文，２００５　

３沈　阳．机器人足球赛场态势评估模型及方法研究．西安：西北　

工业大学硕士研究生学位论文，２００９　

另外，该模型采用了离散的隐马尔可夫模型，　

４车　鸣．基于人工免疫机理的赛场态势评估模型．西安：西北工　

业大学硕士研究生学位论文，２０１　１　

一

个明显的优点就是计算简单，运算周期短。比赛　

５　Ａｍｅｓ　Ａ，Ｖｉｇｎａ　Ｖ　Ｆ，Ｋｅｍｍｅｒｅｒ　Ｇ　Ｒ．Ａ．Ｕｓｉｎｇ　ｈｉｄｄｅｎ　ｍａｒｋｏｖ　ｍｏｄ—　

平台每１／６０　Ｓ提供一次源信息，策略运行中每１／　

ｅｌｓ　ｔｏ　ｅｖａｌｕａｔｅ　ｔｈｅ　ｒｉｓｋ　ｏｆ　ｉｎｔｒｕｓｉｏｎｓ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｉｎｔｅｒｎａ－　

６０　ｓ（　１６．７　ｍｓ）内都可以自动计算出每个关键因素　

ｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　ｔｈｅ　Ｒｅｃｅｎｔ　Ａｄｖａｎｃｅｓ　ｉｎ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　

并量化。而ＨＭＭ的运算周期，即从七个关键因素　

（ＲＡＩＤ　２００６）：Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ，２００６：１４５—１６４　

量化值输入到态势评估值输出的时间为２５２　ｍｓ至　

６　Ｒａｂｉｎｅｒ　Ｌ　Ｒ．Ａ　ｔｕｔｏｒｉａｌ　ｏｎ　ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌｓ　ａｎｄ　ｓｅｌｅｃｔｅｄ　ａｐｐｌｉ－　

ｃａｔｉｏｎｓ　ｉｎ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｈｔｅ　ＩＥＥＥ．１９８９；７７　

３４７　Ｉｎｓ，取最大值３４７　ｍｓ也远小于通常情况下态势　

（２）：２５７—．２８６　

评估的计算周期５／６　ｓ（８３３．３　ｍｓ），模型系统的实时　

７王玉洁．基于人工心理的情感建模及人工情感交互技术研究．北　

性得到了保证。　

京：北京科技大学博士学位论文，２００７　

８贾宾，朱小燕，罗予频，等．消除溢出问题的精确Ｂａｎｔｕ．Ｗｅｌｃｈ　

４结论　

算法．软件学报，２０００；１１（５）：７ｏ７—７１Ｏ　

赛场态势评估是机器人足球比赛系统重要的　

９周书仁．人脸表情识别算法分析与研究．长沙：中南大学博士学　

位论文，２００９　

决策依据。态势评估的准确性决定球员与决策策　

ＨＭＭ　Ｂａｓｅｄ　Ｓｉｔｕａｔｉｏｎ　Ａｓｓｅｓｓｍｅｎｔ　ｆｏｒ　Ｒｏｂｏｔ　Ｓｏｃｃｅｒ　

ＬＩ　Ｃｈａｎｇ－ｊｉａｎｇ，ＬＩ　Ｘｉａｏ—ａｎ　

（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｎｏｒｔｈｗｅｓｔｅｒｎ　Ｐｏｌｙｔｅｃｈｎｉｃａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１０１２９，Ｐ．Ｒ．Ｃｈｉｎａ）　

［Ａｂｓｔｒａｃｔ］　Ｆｏｒ　ｒｏｂｏｔ　ｓｏｃｃｅｒ　ｓｔａｄｉｕｍ　ｓｉｔｕａｔｉｏｎ　ａｓｓｅｓｓｍｅｎｔ　ｐｒｏｂｌｅｍ，ａ　ｎｏｖｅｌ　ｍｏｄｅｌ　ｏｆ　ｒｏｂｏｔ　ｓｏｃｃｅｒ　ｓｔａｄｉｕｍ　ｓｉｔｕａ．　

ｔｉｏｎ　ａｓｓｅｓｓｍｅｎｔ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ（ＨＭＭ）ｉｓ　ｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔ，ｓｅｖｅｎ　ｋｅｙ　ｆａｃｔｏｒｓ　ｔｈｒｏｕｇｈ　ｔｈｅ　ｃｈａｒ－　

ａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｇａｍｅ　ｅｎｖｉｒｏｎｍｅｎｔ　ａｓ　ｔｈｅ　ｉｎｐｕｔｓ　ｏｆ　ＨＭＭ　ａｒｅ　ａｂｓｔｒａｃｔｅｄ．Ａｎｄ　ｔｈｅｎ　ｔｈｅ　ｐａｒａｍｅｔｅｒｓ　ｏｆ　ＨＭＭ　ｕｓｉｎｇ　ｔｈｅ　

ｉｍｐｒｏｖｅｄ　Ｂａｕｗ・Ｗｅｌｃｈ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｄａｔａｂａｓｅ　ａｒｅ　ｏｐｔｉｍｉｚｅｄ．Ｆｉｎａｌｌｙ，ｔｈｅ　ｒｅｓｕｌｔ　ｏｆ　

ｔｈｅ　ｍｏｄｅｌ　ｉｓ　ｇｏｔ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｍｏｄｅｌ　ｃａｎ　ｓａｔｉｓｆｙ　ｒｅａｌ—ｔｉｍｅ　ａｎｄ　ａｃｃｕｒａｃｙ　ｄｅｍａｎｄｓ　ａｎｄ　ｐｒｏｖｉｄｅ　ｔｉｍｅｌｙ　

ａｎｄ　ｒｅｌｉａｂｌｅ　ｒｅｆｅｒｅｎｃｅｓ　ｆｏｒ　ｔｈｅ　ｃｈａｎｇｅ　ｏｆ　ｔｈｅ　ｃｏｒｒｅｓｐｏｎｄｉｎｇ　ｓｔｒａｔｅｇｙ　ｆｏｒ　ｃｕｒｒｅｎｔ　ｓｏｃｃｅｒ　ｓｉｔｕａｔｉｏｎ．　

［Ｋｅｙ　ｗｏｒｄｓ］　ｒｏｂｏｔ　ｓｏｃｃｅｒ　ｓｉｔｕａｔｉｏｎ　ａｓｓｅｓｓｍｅｎｔ　ＨＭＭ　Ｂａｕｗ—Ｗｅｌｔｈ　ａｌｇｏｒｉｔｈｍ