基于SVM 分类识别的碗碟视觉伺服分拣机器人的设计
*
郑雁云，宋海鹰※，周文波，邓金晖，陈伦澍，梁浩潮，陈泽健
（广东技术师范大学自动化学院，广东广州
510450）
摘要：为解决商用碗碟清洗分装流水线依赖人工进行碗碟分拣的工程技术问题，以实现碗碟清洗流水线的碗碟分拣工序的智能化，研究并
设计了基于视觉伺服控制的碗碟自动分拣机器人。该分拣机器人采用了直角坐标机器人结构，首先通过垂直安装在机器人上方的摄像头摄取待分拣碗碟图像，再利用视觉伺服控制软件中的经过训练的碗碟类型SVM 分类器，对流水线上待分拣碗碟的形状进行识别，再进一步根据摄像系统的参数标定结果，利用图像处理的方法计算出碗碟的直径大小和相对X -Y 坐标距离，并结合直角坐标机器人Z 轴末端的超声波测距值，最终控制机器人完成碗碟吸取的动作。所设计的分拣机器人具有重复精度高、结构简单、造价低的优点，对提高商业碗碟清洗分装流水线的效率，优化分拣工序有着重要的意义。关键词：分拣机器人；视觉伺服；SVM 分类；图像处理中图分类号：TP242
文献标识码：A
文章编号：1009－9492(2019)06－0127－03
Design of Visual Servo Sorting Robot Bad on SVM Classification
ZHENG Yan-yun ，SONG Hai-ying ※，ZHOU Wen-bo ，DENG Jin-hui ，CHEN Lun-shuo ，
LIANG Hao-chao ，CHEN Ze-jian
（School of Automation ，Guangdong Normal University of Technology ，Guangzhou 510450，China ）
Abstract:In order to solve the problem that the dishes and bowls sorted by manual in commercial washing and sorting line ，and to realize the
intelligent sorting process of washing line ，a automatic sorting robot bad on visual rvo control is designed in this paper.The sorting robot adopts a
rectangular coordinate robot structure.Firstly ，the image of dishes to be sorted is captured by a ca
mera mounted vertically above the robot.Secondly ，the shape of the dishes to be sorted on the asmbly line is recognized by using the trained SVM classifier in visual rvo control software.Thirdly ，according to the calibration results of the camera system parameters ，the size of the bowl and dish and the relative X-Y coordinate distance are calculated by image processing method.Finally ，combined with ultrasound distance measurement value of the Z-axis end of the rectangular coordinate robot ，the robot is controlled to suck up bowl and dish.The sorting robot designed in this paper has the advantages of high repetition accuracy ，simple
structure and low cost.It is of great significance to improve the efficiency of the commercial dish cleaning and sorting asmbly line ，and to optimize the sorting procedure.
Key words:sorting robot ；visual rvo ；SVM classification ；image processing
*广东省教育厅特色创新类项目（编号：2014KTSCX148）；大学生科技创新培育专项资金项目（pdjh2018b0297）收稿日期：2019－04－20
DOI:10.3969/j.issn.1009-9492.2019.06.042
0引言
大黄鱼的做法大全
随着餐饮业不断发展，各类商业碗碟清洗设备已顺应时代所需步步的发展成为全自动化的流水线工序。但经过市场调查研究发现，目前的商用洗碗机的工作过程主要包含：餐具的清洗、烘干、分拣、组装以及包装等。其中餐具的分拣工序，是利用了传送带上设置不同的挡块、拨叉的方式将餐具进行一级、二级等分拣，从而使得不同的餐具最后能在不同的输送带上传送到最终的阶段。但由于分拣的麻烦性以及不可预见性，往往出现餐具漏拣或是错拣，需要人工对餐具进行摆放使餐具经过传送带上的挡板，使得高度不同的碗碟能够被筛选出来。目前国内研发的自动洗碗流水线并无成熟的碗筷分拣自动化设备，并且市场上现有的商用碗碟清洗流水线也仅能将碟子、碗、酒杯跟筷子、勺子分拣出来分为两部分，并不能做到将各种类型的碗碟单独分拣。总的来说，现有的商业碗碟清洗设备并不能很好地满足市场的需求。
文献[1-6]均研究基于机器视觉的物料分拣系统，文献
[7]采用LabVIEW 软件，通过调用视觉开发工具包IMAQ Vision 及Vision Assistant 设计出一套集成图像采集、图像处理、视觉检测、决策判断的完整的机器视觉应用系统，
并驱动一台SCARA 机械手进行碗碟的抓取。但该套系统实现方法比较复杂，并且由于系统无法脱离LabVIEW 平台，使得系统的成本较高。
翻来覆去的近义词
针对上述问题，本论文拟设计一套机械结构较简单，操作重复精度高，并且造价相对较低的视觉分拣
机器人系统。该套碗碟自动分拣机器人采用直角坐标机器人作为机器人本体，通过定标后的摄像系统及工作端的超声测距模块，获取待分拣物体的位置信息，并通过SVM 分类器识别出待分拣碗碟，继而根据摄像系统的标定结果测量碗碟直径，视觉伺服控制系统将进一步依据所获取的碗碟大小、位置等信息，再通过同步控制三台步进电机，进而控制机器人的抓取动作。
1分拣机器人总体设计
整个碗碟自动分拣机器人的构成如图1
肚子疼是什么原因所示，分拣机
·
·127
器人的机械结构部分采用了三轴直角坐标的结构，三轴直角坐标机器人z 轴末端配置缓冲真空吸盘，其样机的机械结构3D 效果如图1所示。
碗碟自动分拣机器人的电气控制系统包括，视觉目标识别系统和伺服
驱动系统。其中，视觉目标识别系统采用了固定焦
距的单目摄像头。由上位机主控程序中的人机交互界面输入已知的碗碟直径参数，并修改控制器IP 地址、摄像头IP 地址，以及通信参数信息，从而在上位机能获取摄像头所拍摄碗碟的运动状态。再进一步利用图像处理技术再通过支持向量机分类器进行碗碟的自动视觉识别。而伺服驱动系统则采用了四轴运动控制器ZMC204，主控程序根据视觉识别系统识别出的位置（X ，Y ）信息，产生相应的脉冲，以控制步进驱动器雷赛DM542，从而控制直角坐标机器人的定位运动；而在进行抓取动作时，主控程序将一步结合Z 轴末端的超声波测距模块的测量(Z )值，从而驱动Z 轴的吸盘升降，以对碗碟实施吸取。
2分拣机器人的视觉伺服控制设计
本论文采用C#开发视觉伺服控制软件，该程序首先调用Halcon 软件的函数对摄像头采集的数据进行图像处理；再采用基于C#开发的支持向量机分类器，通过由模板训练得到的碗碟状态分类器进行碗碟的识别；再由视觉
伺服控制系统根据图像处理软件识别出的碗碟形状、位置信息发送给运动控制模块，和读取的Z 轴上的US-100超声波测距传感器测得的吸盘距离碗碟的距离数值，发送给4轴正运动控制器，由运动控制器产生脉冲驱动同步驱动直角坐标机器人的3个步进电机，协同完成分
拣机器人的三维运动，
大成语开头以实现碗碟的吸取。其中测距模块测得的高度mm 将换算为当量以驱动Z 轴，本论文所设计的分拣机器人设置10个脉冲为一个当量，1当量=2.3mm 。视觉伺服控制的流程如图2所示。
其中视觉伺服控制的主界面如图3所示。
展望是什么意思
上位机中的视觉伺服控制程序涉及图像采集显示、图像处理、伺服控制这3个线程间的互相切换，即：定时进
行图像采集更新，并保证图像窗口的实时性；对采集到的图像，根据所设规定条件，判断是否启动图像处理线程；图像处理线程根据处理结果判断是否启动机器人控制线程。具体操作：定时器中断去获取图像数据并显示在窗口上，同时判断后台是否有图像处理的线程和机器人运动的线程，如果都没有，那么就启动图像识别的线程进行识别，识别结果后与界面上的数据进行匹配，匹配成功的话就启动机器人运动的线程去分拣，在分拣这个过程中定时器会不断地更新窗口的显示，但是，不会去进行
图像的识别处理，待机器人运动完成后，图像识别功能才会恢复。没有识别到输入的碗碟信息是不会进行夹取的，这时候就会回到图像采集，重新进行图像处理识别过程。
3基于SVM 的碗碟识别算法设计
基于SVM 的分类器碗碟识别的本质，及通过选择多次方的多项式核函数，将训练样本映射到高维特征空间，再利用SVM 在样本特征空间中找出各类别的特征样本与其他特征样本的最优分类超平面，从而得到代表各样本特征的支持向量集，以形成判断各特征类别的判别函数。碗碟识别流程图如图4所示。
由流程图4可知，碗碟识别首先需在上位机上预先输入碗碟直径数据，再由视觉识别软件测量实际碗碟直径，再与所输入的直径数据做匹配，从而可对不同碗碟的直径进行分拣，具体操作如下。
路由器怎么连Step1：碗碟的识
别。首先对摄像头采集的图像，根据事先通过碗、碟特征训练得到的分类器，对碗、碟进行区别；即将影像中待分类像元通过核函数作用映射到特征空间中，作为判别函数的输入，利用训练后的分类判决函数得出可分的结果。本项目通过write_class_svm 函数生成SVM 模型文件，以便随时调用，再将classify_class_svm
函数作为识别算子放入循
图1三自由度直角坐标分拣机器人3D
结构图
图2
视觉伺服控制流程
图3
视觉伺服控制程序的参数设置界面
图4
碗碟识别流程图
·
·128
环语句中，通过调用SVM 模型以实现物体实时识别。Step2：再进行二值化，继而进行碗、碟直径的测
量。即由摄像头采集到的碗碟图像上各个点的坐标得出碗碟所在区域的坐标，将区域分割成不同的对象并进行对象筛选，绘制对象的边缘线，再由边缘线生成内接矩形，将矩形离散化后找到对角点，再利用矩阵间的映射关系求出图像坐标与世界坐标的映射关系，并通过事先对摄像系统进行标定，从而测量出目标碗、碟的直径。
4应用情况
本论文将基于人工智能方法的视觉伺服控制方法，应用在自动碗碟清洗机的碗碟分拣机器人上，机器人可以根据视频图像对碗、碟的类型和大小进行识别，并且能应用于不同的材质的碗碟，如瓷、塑料、不锈钢。通过控制碗碟分拣工艺流程，能使分拣后的碗、碟进行包装等后续工艺步骤。
应用Halcon 软件进行碗碟识别的操作，如图5所示，进一步对碗碟进行测量的操作如图6所示。
5结束语
本项目所开发的碗碟分拣机器人目前已能成功区别二十六种不同形状和直径的碗碟，测量的最大绝对误差<3mm 。
由结果可知，该系统的平均识别抓取率能达到99%，可以完成碗碟自主分拣的操作。但是由于项目中所训练的SVM 模型的分类特征依赖于图像的灰度值，碗碟识别的训练需要一个非常稳定的光线环境，因此在工业实际应用场合时，受环境照明的影响较大，机器人对现场照明有一定
的要求，否则效果较差。
目前市场上物流分拣的场合也迫切需要用到分拣装置，所以碗碟自动分拣装置可以延伸发展为对各类工件或物料进行分拣，通过可对识别的图像进行处理，可对不同分拣物体进行识别。参考文献：
［1］徐伟，杜建，马永，等.基于视觉的物料自动分拣控
制系统设计［J ］.盐科学与化工，2018，47（5），42-44.
［2］栗俊艳，米月琴，弓靖，等.一种基于机器视觉的工
业机器人分拣系统［J ］.电子科技，2016，29（1），105-107.［3］肖仁，吴定会，欧阳洪才.基于机器视觉的转动分拣
系统设计研究综述［J ］.智慧工厂，2017（9）：43-48.［4］景卓，陈超波.基于机器视觉的物体识别分拣装置研
究［J ］.计算机与数字工程，2019，47（3）：657-660.［5］覃小丽，李明枫，李晓飞.基于HALCON 的SCARA 机
械手视觉分拣软件设计［J ］.自动化应用，2019（2）：86-87
［6］嵇登臣，王怡.基于机器视觉的零散多目标分拣系统
研究［J ］.工业控制计算机，2018（12）：34-36.［7］张文勇，陈乐柱.基于LabVIEW 机器视觉的餐具分拣更换地漏
系统［J ］.计算机科学，2018，45（6A ）：595-597.第一作者简介：郑雁云，女，1997年生，福建福州人，大学本科。研究领域：机器人技术。
通讯作者简介：宋海鹰，广东技术师范大学副教授，博士，研究领域：复杂系统优化与控制。
(编辑：麦丽菊
)
图5利用SVM 模型进行碗碟识别
图6Halcon 通过图像处理方法测量碗碟尺寸
碗碟移动速度/(mm ·s -1)
100130160190
抓取总数100100100100
有效识别10010010099
漏抓个数
0001
表1
实验结果
·三七总皂苷的功效和作用
·129
