No. 2Fee.2021
第2期2021年2月组合机床与自动化加工技术
Modular Machine Tool & Automatic Manufacturing Technique
文章编号：1001 -2265（2021）02 -0001 -05
DOI # 10.13462/j. cnki. mmtamt. 2021.02. 001
人类行为模式启发的人机物体传递!
王宪伟1，丛 明1，刘 冬1，杜 宇2，邹 强1
（1.大连理工大学机械工程学院，辽宁大连116024；2.大连大华中天科技有限公司，辽宁大连
116025）
摘要：针对目前人到机器人的物体传递过程中，机器人难以像人类一样理解给予者的意图并配合完 成传递任务的问题，提出了一种人类行为模式启发的人机物体传递方法。通过观察人类物体传递 过程总结了人类的物体传递行为模式，使用骨骼信息与RGB-D 信息融合构建传递意图判别模型； 控制机器人在识
别到传递意图后迅速配合完成传递任务；通过相关实验验证了该方法在人机传递
效率上的改善，并基于机器人社会属性量表（RoSAS ）面向使用者开展了问卷调查。实验表明，文章
提出的传递意图识别准确率为96.2%，且有效的区分了相同姿态表达的不同意图，人机传递系统成 功率为91.1%，平均传递时间3.3s ，能够满足人机物体传递中准确性与流畅性的需求。
关键词：人机物体传递；意图识别；人类行为模式；人机交互中图分类号:TH16；TG506 文献标识码:A
A Human-to-robot Handover Mettod Inspired by Human Be/avior Patterrs
WANG Xian-Dei 1 ,CONG Ming 1 ,LIU Dong 1 ,DU Yu 2 ,ZOU Qiang 1复方血栓通软胶囊
(1. School of Mechanical Engineering & Dalian University of Technology , Dalian Liaoning 116024, China ；2.
Dalian Dahuazhongtian Technology Co. , Ltd. , Dalian Liaoning 116025 & China )
Abstract : In view of the cinrent robot/ inability to understand the giver/ potential intention as wel l as the
human being in the handovee proces t ，由$ papee propod a human-to-robot handovee mettod inspired by human behavior patterns. This paper first summarized the human handover behavior patten by obrving tie relevant process , and constructed the delivery intention discrimination modei by using the skeleton in
formation and RGB-D information. Then tie robot was controlled to complete the handover task after rec ognizing tie delivery intention. Finally , tie improvement of human-to-robot handover efficiency was veri
fied by relevant experiments , and a questionnairr survey bad on the Robot Social AttTibute Sccle (Ro
SAS ) was conducted among tie urs. The experiment shows that te accuracy of te delivery intent rec ognition propod in this paper is 96.2% , and it effectively distinguishes dfferent intentions expresd in tie same po. The succes s rate of te human-to-robot handover system is 91. 1% , and tie average han
dover time is 3. 3 s & which can meet the needs of accuracy and fluency in human-to-robot handover.
阅读简笔画Key words ： human-to-robot handover ； intention recognition ； human behavior pattens ； human-robot inter action
0引言
人机物体传递是诸多人机协作场景中的基本任
务。目前在工厂流水线、家居养老、空间探索、医院护
理等复杂环境中，机器人大多不能完全脱离人类实现 全自动化，还需要依靠于人类的灵活性来完成一些复 杂的任务。正如手术中护士能够协助外科医生接过手 术刀一样，拥有物体传递交互功能的机器人能够提高
被协助者的工作效率，并提高机器人自身的社会接纳
度与认可度[1]o
目前提出的人机物体传递方式大部分需要人类主
动控制机器人来配合完成动作）2D *，如使用语音、遥控
器等方 , 传递 机器人
合完成物体传递）5D *，但是都使用了固定的动作捕捉设
备或专用的被传递物体，不能自由搭载于机器人平台 上投入实际应用。为了能够让机器人更灵活的配合人 类完成物体传递任务&本文从人类行为模式着手，探究
人类传递 中的 方 传递 方 ,
循该方式开发一套系统并移植到服务机器人平台并开 展实验。
现有的研究证明人们常会通过手臂动作、头部动
收稿日期:2020-05 -07；修回日期:2020-05 -18
基金项目：国家自然科学基金资助项目（61873045）；大连市科技创新基金资助项目（2018J12GX035）执意的近义词
作者简介：王宪伟（1949—），男，辽宁营口人，大连理工大学硕士研究生，研究方向为人机交互,（
E-mail ） 565346370@ qq. com 。
-2-组合机床与自动化加工技术第2期
作等非语言线索人的传递。Kobayashi F 等［5］基于于方的Leap传器：测动作，PanMIKXJ等⑷
于传接的圆环，而间接传递，PanMK等运动获取据，并基于支持向量机传递。以研究虽然取得的实果，存在、检测环境单一的缺陷，不利于服务机器人的，且述部方法未考虑传递者手中物体，难以将传递物体与接收物体两种相同动作表现的不同。
因此，本在人类行为启，创新提出了一种基于的传递方法，克往
的局限性，融骨骼关节点数据持物体存在信息特征实现对传递的有，并在此基础发种摆脱限制，范围更广阔的人机物体传递o
1人类传递行为模型
1.1问题阐述
Baiii P等⑷将人与人的传递为三种主要动，包括：物体携带、、物体传递。而本文目的在于解决人给
机器人传递物体的中机器人的控问题，因而重点关注 物体传递阶段人类的行为。希望实探究在传递中的动作序列，步探讨从接收者的角何完成物体传递任务。
1.2实验设置
本阶段实验中，共征集了15名志愿者，均为右手惯用者，身高1.72±0.15m，体重60±10kg，年龄25±4岁，参者身体状况良好，且近期无、肩颈等问题。
实验中全两相机，同步采集视信息，机取4名志愿者o 实，每名志愿者可以自择自为，如阅读，上网等，且志愿者机界指令，如传递书本、水杯或将递给人等。实持续4
m3n，共5实o
1.3实验分析
在实据阶段，本中共142段传递动作序列，传递中有现物体现o 本以5Hz频率［9］，结Strabala K等［10］提出的传递行为类方式将实验中的为为两类，1o
(1)1(52%)：给者会在向接收者移动的过程中提前，表传递，接收者 方动作将注中的待传递物体，并提前伸
取，在方靠近范围内给予者将物品递收者手中。
(2)2(48%)：给者以持物体并靠近收者，在两者相近，给者将物体递至到对方手部工作范围内，引起对方注意，并在表明传递的同物体传点，收者在
物体，完目标物体的传递。
述，两种传递在阶段有，在物体传递阶段基本。在此提取以下关键步骤，用于指的人机物体传递：
(1)传递：在给予者靠近时，接收者会观
方的动作，据方的中物体存在状传递o
(2)收信：在方的传递，收者注方中物体的方收信o
(3)完传递：给者传递物体以在接收者空间内，方物体，期传递等方完物体传递。
2人机物体传递系统搭建
2.1传递系统整体控制逻辑
基于述人类传递为探究实，本
计了如下人机传递交互逻辑，如图2o
图2传递系统控制流程
传递中，机器人任收者角，机器人
小青蛙化，等待人类给予者，在给予者存在，传递，在给者表传递，机器人动方中物体，收信，据给者机器人运动，给者前于机空间，
机前往给者近取，机期传递，等给者靠近完传递，最后机器人给予者决定是否闭
2021年2月王宪伟，等：人类行为模式启发的人机物体传递-3-
合手爪抓住物体，完成传递任务。
2.2给予者手持物体存在检测
为区分相同表现的不同，本持物体
存在信息，通过给者传递物体中必然需
要持有物体的先决传递。使用
法提取，HSV
提取物体，物体占比
“。优化后的算法伪代码如表1所示。
表1优化后的算法伪代码
Algorithm1object on hand detect algoritOm
Inpui:coloc Image c(,depth Image)(,hand location p*(from
skeletai data),gment threshold T,,human skin HSV range
Outpui:
1//p f(1,2) ,3(p)-8-connected neighbors of p
2e(p)—fal foe all p
34”e,"0&4”4%5"0
4queue,push(p*)
5d h-9(d C p*)+#z$!(p”))(：)
6repeat
7p e—queue,pop()
9if not spp(p)and丨)(()-)*\<then
10foe each z in N(p)do
11ianot ee!:)then
12queue,push(zi
13end io
14end foe
15ee(p)"—true
16a”ae g5et"4”%-50'+1
17=rgb_to_h sv(c(p))
18if(P)$!s：
194”%-500"4”％500+1
20end io
21end io
22untii queue,empty()
23
.八4”p，、
return(1—)
a”a sgmeo
的物体“越高，持物体存在
能大，本文在将其作为特征
的中。给者手持物体存在流程如图3°
图3给予者手部物体存在检测流程2.3传递意图判断
因物体传递要由人体参与，因此本
有监督学习的方式去人体，从而判给予者传递°要包含5要的运动，包括头、右手腕、右肘、左腕、左肘。求得此5相中点的三维坐标，记作（1,2，：），之后，将笛卡尔坐换到以中点为中心的球坐标系，4，坐换方：
!=槡槡+：⑴
!=arc t an(------------------)(2)
其中，!为关节点丿，与原点间的距离，！为关节点A和原点连线与Z轴夹角，"为关节点A和原点连线在12平面的投影线与1轴之间的夹角’
图4关节向量角提取
不同人体的肢体长度、距离远近等因素影响会
!
的不一致，因此本！进行归一化处理，优化尺度不变性°这里选择求解最大！作为归一化尺寸标，：
R=max(g)!4)有归化离：
C g
C=h!
5)此处定义单一关节点的特征为：
!6)
物体特征的总特征向量为:
"=[D1,D3,D4 ,D6 ,D7，”$o](7)在建立传递据集后，即机器学习方法对传递训练。在现有的诸多机器学习方法中，支持向量机（SVM）具有泛化性好、鲁棒性高等优点，尤为适合小样本分类，因而本方法训练数据并实现实°支持向量机核函择径向基核函数（RBF）：
K（x：,#）=e（2）（8）其中：x：和#为特征向量，y为核函数参数。
2.4机器人响应控制过程
机器人包括机Manipulator、机Grip-pec、云Ptu三，三的运动来传递信息完成物体抓取任务。
机械臂末端执行器的F“”参考人类
比兴手法的作用
自然下垂时的状态，并根据构型适当调整。根据现有传递理知常用传接点为两人身体中间位置[8>11]，在此预设传递位置F（”）“为两者在相距1.5m（
根据机
-4-组合机床与自动化加工技术第2期
工作空间设置）时的中间位置。响应控制过程伪代表2所示。
表2响应控制过程伪代码
Algorithm2robot respon controO algoothm
Inpue:Over's state S gl?r,oiver's hand position F-/%伽），robot's Manipu-latoo workspace$
Outpui:control result
1if G-/? =give_signal then
2move Pu to watch如）
3el return no signal
4end if
50P-/?_z$$the n
6move Manipulator to尸-/?_伽）
7el move Manipulator to P（?/
8end if
狐狸脸9continue move Ptu to watch P-/er han）
10if <0.15and keep>0.8s then
gi3er_9and diet
11clo Gripper
12oeouon hand oeeo succeed
13end if
3传递系统实验及分析
3.1实验平台
本系统中采用的机器人为实验室自的服务机器人。ROS（机器人操作）为中间件将各传感器及驱动器的反馈封装为话题数据流，方便信息流的化以高等级任务决策。基于各运动关节实时反馈的关节角，构建了机器人的TF树（坐换树），且将的骨骼坐也. TF树，在化工具Rviz上实时显示，5。
（a）机器人实物图（b）实时可视化建模
图5机器人实验平台
3.2传递意图判断实验结果与分析
因目前尚无传递据集，因此本文自集并建立数据集。因目的是将传递物体为为，因此负数据集（非传递动作）需要包含大量的行为来提高分类器的泛化能力，本在采集负数据集大量常见的为，、立、挥手、展示物体、摸头、挥拳、叉腰、抱胸等。
本阶段共征集了20名志愿者，在离摄像头1m~ 2.5m的距离下，根据指示做出规定的行为。采集每名志愿者50传递不同物体的行为作为据集，以300作为负数据集，共集了7000组据，在剔除了17条骨骼错误的数据后，获得了6983：有效数据。随机抽取70%的样本作为训练集，使用liZSVM库[12]训练并调节超参数，剩余30%的样本作为测试集训练器真实分类性能。网索方法超参数C及#3折交叉验率，6。
据网索结果，超参数C=32，#= 0.03125，[13]的率PR、率RE、准确率ACC作为性能指果，在集开，[7]中方法在本提出的数据集上进行的果，结果见表3。
loga©
图6不同参数对准确率的影响
表3传递意图判断性能比较
方法PR/%RE/%ACC/%本文方法95.498.396.2
[7]方法88.395.692.3
表中以，本方法在传递
率方面有明显的提升，且在Intel（R）Core（TM）iZ-7700HQ中央处理器的电脑上的平均速度高于100帧/s，满的实时性、的要求。
3.3传递系统整体实验
3.3.1实验设置
本实验中，将章节2中述传递机器人，作为任务决策机器人各为。为的实体果，本征集6名志愿者作为给予者物体传递实验，志愿者皆被要求右传递。在实验的阶段，志愿者要传递的物体，将传递给机器人，机器人传递志愿者相互完传递实验。志愿者的3种物体（、、水杯）机器人5次传递，7
图7传递实验过程
祝您身体健康为体现本实的效果，本参考[4]中的方法，组实，给
者
2021年2月王宪伟，等：人类行为模式启发的人机物体传递-5-
指令控制机器人物体（即
机器人传递），相同流志愿者与机器人开展传递实验。
志愿者们被要求在体验两种传递调查问卷，该问卷基于RoSAS[14]，表4，能晰的体现出两种人类对机器人能力（Competence"（（Warmth）、不适！Discomfort）共3的体验。志愿者根据中的5个项目（1~5分,5为高）。
表4机器人社会属性量表具体项目
能力温暖不适
可信赖的的的
能干的有情感的的
学识渊博的有同情心的的
交际能力强的高兴的的
速的有的有的
3.3.2实验结果
以单次实验中机器人没有出现错误响应且机器人取物体后未为传递成功，实中成功率及传递成功情况下平均传递完间：本昏头昏脑类似词语
传递成功率为91.1%，平均传递时间为3.3c；语音系传递成功率为88.9%，平均传递时间为4.9c RoSAS 问果8。
图8RoSAS问卷评分对比
以，相于，本提出的人机物体传递传递间33%&且在机
器人量表评分方面也有更好的，人类使用者对机器人的能高，者认为机器人给予者更加亲切，且不适感有明显°
4结论
本文提种人类行为启发的人机物体传递，让机器人在复杂场景动人类并实现物体传递任务。实果表明，本提出的
率为96.2%&实现传递的有&人机传递功率91.1%，平均传递时间3.3c，满传递系的实、要求，且在RoSAS中获得了相传传递更好的，给者带的传递体验o在未来的工作中，步优化机器人的，提升传递系统的鲁棒性。
[参考文献]
[1]Choi Y S,Chen T,Jain A，et al.Hand it over or t it
down:A ur study of object delivery with an assistive mobilo
manipulator[C]//The18th IEEE International Symposium On Robot And Human Interactive Communication，Toyama, Roman:2009:736-743.
[2]Martinson E,Quispe AH，Oouchi K.Towards understanding
ur preferences in robot-human handovers:how do we decide[C]//26th IEEE Internationcl Symposium On Robot And Human Interactive Communication(RO-MAN)，Roman: 2017:516-521.
[3]刘欣.基于智能感知的机器人交互技术研究)D].广州：华
南理工大学，2016.
[4]Zhang Y，Lu V,Wang C,et al.Voicc control dual arm robot
bad on ROS system[C]//IEEE International Conferencc On Intellioencc And Safety Foo Robotics(I
SR)，Shenyang: IEEE,2018:232-237.
[5]Kobayashi F,Okamoto K,Kojima F.Robot-human handoveo
bad on position and posture of human hand[C]//Joint International Conferencc On Soft Computing And Intellivent Systems SCIS And International Symposium On Advanced In-teeigent Systems ISIS,Kitakyushu：IEEE,2014:918-921.
[6]Pan MIK；,Knoop E,Bacheo M，et al.Fast handovers with
a robot characteo:small nsorimotoo delays improve peo-
ceived qualities[C]//RSO International Conferencc on Intelligent Robots and Systems(I R OS)，Macau:IEEE,2019: 6735-6741.
[7]Pan M K，Skjerv i y V，Chan W P,et aL Automated detection
of handovers using kinematio features[O].The Internationai Journai OO Robotics Rearch，2017，36(5-7):721-738.
[8]Basili P,Hubeo M，Brandt T,et aL Investigating human-hu
man appeoach and hand-oeee[M]+CognoeoeeSyemsMono-gephs,2009.
[9]Strabala K，Min K L,Dragan A，et ai.Learning the commu
nication of intent prioo to physicai coyayoration[C]//Ro-man&IEEE2012:968-973.
[10]Strabala K，Lee M K，Dragaa A，et t.Towards amles s
human-robot handovers[O].Journai of Human-Robot Interac-
ion&2013&2(1):112-132.
[11]Huber M，Knol i A，Brandt T,et ai.Handing oveo a cube
spatial features of physical joint-action[O].Annals of The New York Academy of Sciences,2009，1164(1)：380-382.
[12]Chang C,Lin C.Libsvm：a librara foo support vectoo ma
chines[O].ACM Transactions On Intelliaen-Systems and Technology,2011，2(3):1-27.
[13]Powers D M W.Eraluation:from precision，recali and
fmeasure to roc,informedness，markedness and correlation [O].Journai of Machine Learning Technologies，2011，2
(1):37-63.
[14]CapineS a C M，Wyman A B,Peres M A，et ai.The ro
botic social attributes scale(RoSAS):development and vai-ida iion[C]//ACM IEEE InieenaiionaaConeeeenceon Human-Robot Interaction，2017:254-262.
(编辑李秀敏)
