第47卷第12期西南师范大学学报(自然科学版)2022年12月V o l.47N o.12 J o u r n a l o f S o u t h w e s t C h i n aN o r m a lU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)D e c.2022
D O I:10.13718/j.c n k i.x s x b.2022.12.004
基于红外热图边界分割方法的
康复机器人抗阻训练肌肉激活状态评估①张珝1，李益斌1，徐东1，徐晗1，孙亚2，李晓龙1，傅建明2
1.同济大学浙江学院奥克兰㊃同济康复设备研究中心，浙江嘉兴314051;
2.嘉兴学院附属第二医院，浙江嘉兴314001
摘要：红外热成像已被广泛用于显示人体热特性与肌肉激活之间的相关性.为探索红外热成像技术在上肢协调康复机器人抗阻训练模式下肌肉激活状态评估上的应用，采取调整上肢协调康复机器人抗阻方向和阻力等级，并通过采集红外图像来监测上臂3块目标肌肉(三角肌㊁肱二头肌和肱三头肌)区域的温度变化；同时，对不同训练状态下采集到的热图像进行分割且转换为彩色热图，并通过相对灰度值这一参数量化热图的温度变化.实验结果表明，所有训练状态下目标肌肉区域均被激活，且在不同阻力等级和不同阻力方向状态下不同肌肉区域的激活状态存在差异，证明红外热成像能够有效地评估上肢协调康复机器抗阻训练下目标肌肉区域的激活状态.
关键词：红外热成像；图像分割；彩色热图；相对灰度值；康复机器人抗阻训练；肌肉激活状态评估
中图分类号:T P751;R496文献标志码:A文章编号:10005471(2022)12003111
A s s e s s m e n t o fM u s c l eA c t i v a t i o nd u r i n g R e s i s t a n c eT r a i n i n g
o fR e h a b i l i t a t i o nR o b o t sB a s e d o n I n f r a r e d
T h e r m a l I m a g i n g B o r d e r S e g m e n t a t i o n
Z HA N G X u1, L IY i b i n1, X U D o n g1, X U H a n1,
S U N Y a2, L IX i a o l o n g1, F UJ i a n m i n g2
1.A u c k l a n dT o n g j iM e d i c a l a n dR e h a b i l i t a t i o nE q u i p m e n t R e s e a r c hC e n t e r,T o n g j i Z h e j i a n g C o l l e g e,J i a x i n g Z h e j i a n g314051,C h i n a;
2.T h eS e c o n dH o s p i t a l,J i a x i n g U n i v e r s i t y,J i a x i n g Z h e j i a n g314001,C h i n a
A b s t r a c t:I n f r a r e d t h e r m a l i m a g i n g h a s b e e nw i d e l y u s e d t o s h o wt h e c o r r e l a t i o nb e t w e e n t h e r m a l c h a r a c-t e r i s t i c s o f t h eb o d y a n d m u s c l ea c t i v a
朱拉蓬公主t i o n.T h i ss t u d y i sa i m e dt o i n v e s t i g a t e t h ea p p l i c a t i o no f i n f r a r e d t h e r m a l i m a g i n g t e c h n o l o g y i n t h e e v a l u a t i o n o fm u s c l e a c t i v a t i o nu n d e r t h e r e s i s t a n c e t r a i n i n g m o d e o f t h e u p p e r l i m b c o o r d i n a t e d r e h a b i l i t a t i o n r o b o t.T h e e x p e r i m e n tw a s d e s i g n e d t o c o l l e c t i n f r a r e d t h e r m a l i m a-
①收稿日期:20220524
基金项目：浙江省基础公益研究计划项目(L G F22H180029)；浙江省高校实验室工作研究项目(Y B202223)；嘉兴市科技计划项目(2019A Y32022,2021A Y10077,2022A Z10001).
作者简介：张珝，助理研究员，博士，主要从事康复领域生物信号研究和图像检测处理等研究.
通信作者：徐晗，助理研究员.
23西南师范大学学报(自然科学版)h t t p://x b b j b.s w u.e d u.c n第47卷g e s t od e t e c t t h e t e m p e r a t u r e c h a n g i n g o f t h e t h r e e t a r g e tm u s c l e s(d e l t o i d,b i c e p s a n d t r i c e p s)o f t h e u p-p e r a r mb y a d j u s t i n g t h e r e s i s t a n c ed i r e c t i o na n d r e s i s t a n c e l e v e l o f t h eu p p e r l i m bc o o r d i n a t e d r e h a b i l i t a-t i o n r o b o t.T h e c o l l e c t e d t h e r m a l i m a g e sw i t hd i f f e r e n t t r a i n i n g c o n d i t i o n sw e r e s e g m e n t e db y ab
o u n d a r y s e g m e n t a t i o nm e t h o d a n d c o n v e r t e d i n t oc o l o r e d-h e a t m a p.M e a n w h i l e,t h e t e m p e r a t u r e c h a n g i n g o f h e a t-m a p w a s q u a n t i f i e db y r e l a t i v e g r a y s c a l e.T h e r e s u l t s s h o wt h a t t h e t a r g e tm u s c l e r e g i o n sw e r e a c t i v a t e d i n a l l t r a i n i n g c o n d i t i o n s,a n d t h e r e a r e d i f f e r e n c e s i n t h e d i f f e r e n tm u s c l e a c t i v a t i o n r e g i o n s u n d e r d i f f e r e n t r e s i s t a n c e l e v-e l s a n d d i f f e r e n t r e s i s t a n c e d i r e c t i o n s.I n c o n c l u s i o n,i n f r a r e d t h e r m a l i m a g i n g c a n e f f e c t i v e l y e v a l u a t e t h e a c t i v a t i o n o f t h e t a r g e tm u s c l e a r e a s u n d e r t h e u p p e r l i m b c o o r d i n a t e d r e h a b i l i t a t i o n r e s i s t a n c e t r a i n i n g.
K e y w o r d s:i n f r a r e d t h e r m a l i m a g i n g;i m a g e s e g m e n t a t i o n;c o l o r e d-h e a t m a p;r e l a t i v e g r a y s c a l e;r e s i s t a n c e t r a i n i n g w i t h r e h a b i l i t a t i o n r o b o t;a s s e s s m e n t o fm u s c l e a c t i v a t i o n
运动功能障碍是神经系统疾病或肢体损伤后的常见后遗症，在这当中，又以上肢功能障碍最为常见，严重影响了患者的日常生活[1-3].利用康复机器人进行训练是上肢运动功能障碍患者进行肌力训练的重要方法之一[4]，康复机器人的抗阻训练模式能够激发患者患肢的自主收缩力，是患者恢复期增强肌力的重要措施[5].因此，合适的评估策略能够有效地量化康复抗阻训练的效率.临床康复评估多以评估量表为主，如B r u n n s t r o m量表㊁F u g l-M e y e r量表等，但是，这些方法均为康复医师主观评定
笼罩的拼音方法，且评定结果无法定量分析；康复机器人可以通过搭载各式传感器对使用者肢体的位移㊁(加)速度等运动学参数进行定量测量[6-8]，但是，不同的康复机器人会对不同的运动学参数进行测量，无法形成统一的标准；等速肌力测试系统㊁高速摄像机和三维测力系统等设备能够基于统一标准对肌力㊁平衡㊁关节运动角度等运动学参数进行精确测量[9-10]，但是，这些设备因过于庞大而不便于使用，且造价昂贵；表面肌电信号(s E MG)作为人体的生理信号，能够有效地评估不同肌肉对于康复训练过程所造成的影响以及肌肉疲劳程度等[11-12]，然而，表面肌电测量需要在目标肌肉上放置有线表面电极，这会阻碍受试者在训练期间的运动，且电极之间的距离以及电极的大小也会影响测量的结果.
红外热成像技术具有无损㊁非接触和非侵入性等特点，近年来被广泛地应用到临床医学当中，通常被用作疾病治疗前后热效应的评估以及部分疾病的诊断[13-16].当人体处于疾病或者运动状态时，皮肤表面温度就会出现差异，早些时候的一项研究也表明，长时间的运动会增加肌肉热量的扩散[17]，因此，不少研究都在探寻运动期间肌肉的温度变化关系.G o n zál e z-A l o n s o等[18]利用热敏电阻来研究剧烈运动后肌肉局部温度的变化，但是，该方法是侵入式测量，热敏电阻需要插入受试者的静脉，对受试者造成了一定的伤害; Z a g r o d n y等[19]通过对步态分析下肌肉的激活表明了s E MG信号和皮肤表面热特性之间的相关性;D a u d 等[20]通过对上肢不同运动的分析也表明了s E MG信号与热成像测量的皮肤温度之间的相关性.上述的研究证明，热成像测量的皮肤表面温度变化与肌肉激活状态高度相关，抗阻训练会造成血液流速的加快以及肌肉的收缩从而产生大量的散热，并以此确认了红外热
像技术作为评估手段的可能性，而康复抗阻训练效果的评估对于判断患者肌力的恢复以及后续的康复策略制定至关重要，因此，有必要研究出一种基于康复抗阻训练下肌肉激活状态的评估方法.
本文旨在研究红外热成像技术在上肢协调康复机器人抗阻训练模式下肌肉激活状态评估的应用.在不同的训练条件下，获取不同训练阶段下的红外热图，并对图像进行相应的处理和分析，实现对目标肌肉区域激活状态的可视化，同时实现区域内激活状态定量分析.这项研究的优点是，通过利用以非侵入性和非接触方式获取的热图像，可以有效地评估康复训练中肌肉的激活状态.
1实验设备与实验步骤
1.1红外热像设备
本研究所采用的红外热像设备是基于美国F L I R公司B o s o n320长波红外热像仪机芯研发而成(图1),
该机芯搭载了9.1mm 焦距的光学镜头，分辨率为640ˑ512，通过U S B 接口与电脑连接，用于对红外热像图(N I R )的捕捉(图1).
1.2 上肢协调康复机器人
上肢协调康复机器人是由同济大学浙江学院奥克兰㊃同济康复医疗设备研究中心自主研发㊁具有完全
自主知识产权的新一代康复医疗设备.该康复机器人主要适用于脑卒中㊁外伤等引起的上肢功能障碍患者,
且具备多级阻力变化的抗阻训练模式[21-22]be动词
，能够有效地针对不同康复阶段的患者进行抗阻肌力训练(图2)
.
图1 红外热像设备图2 上肢协调康复机器人
1.3 实验步骤
在设计实验步骤时，考虑到实验中部分阻力等级较大，不易驱动，因此，实验选取了5名健康男性参
2014高考成绩查询
与者参与实验，他们的年龄为(30ʃ4)岁，身高为(175.20ʃ5.36)c m ，体重为(74.80ʃ7.95)k g ，每位参与者都签署了‘实验知情同意书“.参与者上肢部位肌肉或骨头没有遭受过结构性损伤，且24h 内未进行过激
烈的体力运动，保证上肢部位状态的正常；同时，为了尽量保证红外热像测量的精确性，实验过程中实验室温度和湿度始终保持在(21ʃ1)ħ和(45ʃ5)%.图3显示了本次实验的流程：实验主要基于上肢协调康复机器人(本文简称机器人)完成，参与者将以右上臂作为参考肌肉群，在接受红外热图采集前，将手臂暴露在空气中10m i n
，用于摆脱因为衣物遮挡导致的温度差异；每位参与者坐在离红外热像设备约1m 的位置，根据不同参与者身高的差异调整座椅高度，手臂自然下垂以保证被测部位完整地出现在红外热像镜头中央；为了最大限度地减小环境带来的影响，参与者手臂需要穿过带有方形孔的纸板，以此屏蔽除被测部位外
吸烟与健康的其他肢体部位.实验开始时，采集参与者被测部位自然状态下的红外热图作为基础参照图像(B s )，然后选择合适的位置坐于机器人前，机器人训练平台向上倾角为30ʎ.实验期间，参与者将基于机器人抗阻训练模式下3种不同阻力等级(L 1,L 5,L 8，阻力等级由小至大)分别进行推㊁拉两种肌力训练各5m i n ；单次训练结束后，参与者拥有5m i n 的恢复时间，考虑L 8级阻力较大，在L 8级训练结束后，参与者拥有10m i n
keep you head down的休息时间以尽可能地保证目标区域状态的完全恢复；最后，分别采集参与者右上臂3种状态下：训练刚完成(0m i n )㊁训练完成后1m i n ㊁训练完成后3m i n 的红外热图，并进行对比分析.
图3 实验步骤
3
3第12期 张珝，等：基于红外热图边界分割方法的康复机器人抗阻训练肌肉激活状态评估
43西南师范大学学报(自然科学版)h t t p://x b b j b.s w u.e d u.c n第47卷2实验分析方法
2.1基于归一化互相关算法的图片重新定位
重新定位在图像处理中非常重要.在很多情况下，人们对原始图像中感兴趣区域(r e g i o no f i n t e r e
s t, R O I)的结果更感兴趣.但是，手动选择相同的R O I较为麻烦且很难定位准确，因此，本研究采用了一种基于归一化互相关算法的重新定位技术.当第一幅图像确认选择的R O I后，重新定位技术将自动在后续图像中找到与R O I匹配度最高的位置.
如果用矩阵R表示RO I区域，用矩阵T表示目标图像，首先对矩阵R进行归一化:
R N=R-R m i nsnacky
R m a x-R m i n(1)式中:R m a x和R m i n是矩阵R的最大值和最小值,R N是矩阵R归一化后形成的新的矩阵，同样，矩阵T N是矩阵T归一化后得到的.矩阵R N和矩阵T N的互相关性为:
C o r r=ðiðj(R N(j)-R M)ˑT N(j-i)-T M
ðj(R N(j)-R M)2ˑðj(T N(j-1)-T M)2(2)式中:i和j是矩阵的大小,R M是R N的平均值,T M是T N的平均值.结果C o r r可以帮助找出两个矩阵的最佳相关性，这将是原始图像R中RO I区域在目标图像T中的位置(图4).
红色方框为基于原始图像(o r i g i n a l)选取R O I后续图像的定位
图4手臂的红外热像灰度图
2.2灰度图像彩色化处理
stranger红外热图的灰度图像没法很好地看出图像间的变化，为了使图像可视化更加清晰，需要对灰度图像彩色化处理.彩色化处理是将灰度值矩阵中的每一个值拆分成3色(r e d g r e e nb u l e,R G B)通道，同时定义一个映射函数，用来对灰度图像值进行区分:
R (x ,y )=R c 1X (x ,y )<G c 1R (x ,y )ɖX (x ,y )G c 1ɤX (x ,y )<G c 2R c 2X (x ,y )ȡG c
altec lansing
2ìîíï
ïïï(3
)式中,R (x ,y )代表R G B 的任意一个通道矩阵,X (x ,y )代表灰度矩阵于,R c 1和R c 2表示自定义R G B 单一通道矩阵下颜色强弱区分的阈值,G c 1和G c 2表示自定义灰度矩阵区分的阈值，灰度矩阵根据(3)式进行变换，结合另外两个通道形成新的R G B 矩阵，完成灰度图像的彩色化处理.
2.3 基于边界轮廓的图像分割方法
在本实验中，不同肌肉区域内目标位置基于灰度值变化的对比度非常重要.为了突出这项变化，本研究采用了一种基于边界轮廓的图像分割方法，对图像进行一种模糊增强，从而达到增强灰度值对比度的目的.
首先，利用图像二值化对目标图像进行处理:
G (x ,y )
=0
G (x ,y )<T g
255G (x ,y )ȡT g
{
(4
)式中,G (x ,y )表示目标图像灰度矩阵,T g 表示分割阈值.将小于T g 的像素变为黑色(0)，将大于T g 的像素变为白色(255)，完成图像的黑白转化，从而突出图像的边界，考虑图像不同位置T g 不同，本研究将目标灰度图像切成4份，通过不同的T g 来对图像边界精确划分，最后通过将图像合并回原始图像:G =ð4
i =0G i
(5
)式中,G i 为G 切割中的一部分.
黑白图像边缘轮廓可视为一条二维封闭的边缘曲线L ，且可以表示为有限个点的集合P ={P 1,P 2,
,P k },P ɪ[0,L ]
，集合的坐标表达式为:P =
p i =f (
t )q i =g (
t ){
(6
)式中:p i 为边界P i (p i ,q i )的x 坐标;q i 为该点的y 坐标；接下来，先将图像在纵向进行分割，之后以纵向分割为基础对图像进行横向分割，以此得到新的包含
边界的网格交点坐标:
P '=(p 's ,q
's ,v )(7
)式中:
p 's =s (g m a x (t )-g m i n (t ))m +g m i n (t )p 's ,v =v (f m a x (t )-f m i n (t ))n
+f m i n (t )ìîí
ïïïï(8
)式中:s 为新分割图像横坐标,s ɪ[0,m ],m 为纵向网格数量,v 为基于s 的纵坐标,v ɪ[0,n ],n 为横向网格数量.
由此，目标图像被分割成新[m ˑn ]的图像，然后通过计算每个网格的平均灰度值来生成新的图像.2.4 目标图像处理
原始目标图像如图5a 所示，利用2.1的重新定位方法修剪右上臂R O I 区域(图5b ).
应用移动平均滤波器后，采用大津的全局阈值法[23]
突出R O I 区域(图5c ).然后将R O I 区域利用2.3所述的图像分割方法
将图片平均分为20个水平部分和45个垂直部分(图5d ).通过计算R O I 区域中每个分割的网格平均灰度值生成模拟热图(图5e )，并使用彩色图显示(图5f ).为了定量评估肌肉不同条件下的激活状态，将以图5e 为基准提取相对灰度值进行分析.
中级口译口试时间53第12期 张珝，等：基于红外热图边界分割方法的康复机器人抗阻训练肌肉激活状态评估
