基于YOLOv4的结构用锯材表面缺陷识别

更新时间:2023-07-12 11:45:31 阅读: 评论:0

林业工程学报,2021,6(4):120-126JournalofForestryEngineering
DOI:10.13360/j.issn.2096-1359.202010009
收稿日期:2020-10-12㊀㊀㊀㊀修回日期:2021-03-05
石壕吏原文及翻译基金项目:国家自然科学基金(31670721);中央级公益性科研院所基本科研业务费专项资金(CAFYBB2019MB006);国家林业和草原局林
业科学技术推广项目([2019]35)㊂
作者简介:王勇,男,博士生,研究方向为林业装备与信息化㊂通信作者:张伟,男,研究员㊂E⁃mail:wzhang@caf.ac.cn
基于YOLOv4的结构用锯材表面缺陷识别
王勇1,张伟1,2∗,高锐1,3,金征1
没有一天不想你(1.国家林业和草原局北京林业机械研究所,北京100029;2.中国林业科学研究院林业新技术研究所,北京100091;
3.福建省林业科学研究院,福州350012)
摘㊀要:结构用锯材在使用之前进行表面质量评价㊁分级,对于提高木材的综合利用率具有重要作用㊂综合利用机器视觉技术和深度学习方法,选取国内常用的云杉结构用锯材作为研究对象,通过工业相机采集结构用锯材表面主要缺陷(节子㊁虫眼㊁裂纹),并对锯材主要缺陷进行数字化评价分析㊂
先通过自主搭建的机器视觉图像采集装置,采集100块结构锯材正反面表面图像,共获取表面缺陷图像1450张,其中活节缺陷图像550张㊁死节缺陷图像320张㊁裂纹缺陷图像295张㊁虫眼缺陷图像285张;随后搭建基于YOLOv4的深度学习缺陷检测识别框架,对缺陷图像中80%的图像进行训练,剩余20%用于测试㊂试验结果表明,基于YOLOv4的深度学习缺陷检测识别框架,能有效识别并准确定位锯材表面缺陷的类型和位置,平均识别率96.7%,其中活节缺陷识别率
100%㊁死节缺陷识别率97.5%㊁裂纹缺陷识别率90%㊁虫眼缺陷识别率96.7%,可满足生产应用需求
㊂关键词:深度学习;YOLOv4;锯材表面质量;表面缺陷;质量评价中图分类号:TP391㊀㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀㊀开放科学(资源服务)标识码(OSID):
文章编号:2096-1359(2021)04-0120-07
Researchonsurfacedefectrecognitionofstructural
sawntimberusingYOLOv4
WANGYong1,ZHANGWei1,2∗,GAORui1,3,JINZheng1
(1.BeijingForestryMachineryResearchInstituteofStateForestryandGrasslandAdministration,Beijing100029,China;
2.ForestryNewTechnologyResearchInstitute,ChineseAcademyofForestry,Beijing100091,China;
3.FujianAcademyofForestry,Fuzhou350012,China)
Abstract:Withtheincreasingshortageoftimberresourcesintheworld,howtousetimberresourcesefficientlyhasal⁃readyaffectedthecountry ssustainabledevelopmentplan.Thesurfacequalityevaluationandclassificationofstructuralsawntimberbeforeuseplayanimportantroleinimprovingthecomprehensiveutilizationofwood.Thisstudyin⁃tegra
tesmachinevisiontechnologyanddeeplearningmethodsandselectsdomesticcommonlyusedsprucestructuresawntimberasaresearchexample.Themaindefects(knots,wormholes,andcracks)onthesurfaceofsawntimberforstructuralusearecollectedbyindustrialcameras,andthemaindefectsofthesawntimberaredigitallyevaluatedandanalyzed.Firstofall,throughtheself⁃builtmachinevisionimageacquisitiondevice,thefrontandbacksurfaceimagesof100piecesofstructuralsawntimberwerecollected,andatotalof1450surfacedefectimageswereob⁃tained,including550soundknotdefectimages,320unsoundknotdefectimages,295crackdefectimages,and285insectdefectimages.ThenadeeplearningdefectdetectionandrecognitionframeworkisbuiltusingYOLOv4,inwhich,80%ofthedefectimagesareusedfortrainingandtheremaining20%fortesting.Thr
oughexperimentaltests,itisfoundthattheYOLOv4algorithmhasgoodconvergencepropertiesforsmallsampledatasetsandcanquicklyre⁃ducethelossfunctionvaluetoasmallrange,andthetrainingaccuracycanalsobestabilizedinahighaccuracyrange.ThetestresultsshowthatthedeeplearningdefectdetectionandrecognitionframeworkusingYOLOv4caneffectivelyidentifyandaccuratelylocatethetypeandlocationofsawntimbersurfacedefects,withanaveragerecognitionrateof96.7%.Amongthem,therecognitionrateofsoundknotdefectsis100%,therecognitionrateofunsoundknotdefectsis97.5%,therecognitionrateofcrackdefectsis90%,therecognitionrateofinsectdefectsis96.7%,andtheaver⁃agerecognitionrateoffourtypesofdefectsis96.7%,whichmeetstherequirementsofindustrialapplications.
㊀第4期王勇,等:基于YOLOv4的结构用锯材表面缺陷识别Keywords:deeplearning;YOLOv4;surfacequalityofsawntimber;surfacedefects;qualityevaluation
㊀㊀结构用锯材(又称规格材)是木结构建筑构件的关键单元材料,同时结构用锯材不仅可以直接用于建筑构件,还可作为原材料制造平行胶合木(集成材)㊁正交胶合木(CLT)等木结构产品㊂由此可见,其力学性能和强度等级,对木结构建筑㊁集成材和CLT的安全使用性能具有直接影响[1]㊂按照木结构建筑材料的使用性能要求,并结合结构用锯材分级规则,应先实现对结构用锯材强度等级的有效评价㊁预测,再通过同等级或异等级组合加工成尺寸更大的梁㊁柱构件,应用于木结构建筑的受力结构构件;因此,在使用之前对结构用锯材进行相关质量评价㊁分级十分有必要,可以更好地做到优材优用,提高木材的综合利用率㊂
现阶段我国对于结构用锯材分级标准及设备的研究滞后于国外,致使国产材的竞争力远低于按照国外相关标准分等的进口材,这严重制约了国产锯材的应用及推广发展[2-3]㊂目前结构用锯材分级方法主要有目测分级和机械分级两种㊂然而在实际执行分级过程时上述两种方法均存在一定的难度,目测分级需要由专业工人用肉眼观察结构用锯材表面缺陷种类㊁尺寸㊁位置及数量,再结合经验评估其强度并划分等级㊂木材缺陷类型主要包括节子㊁蛀孔㊁裂纹㊁变形㊁腐朽㊁构造缺陷㊁损伤等,目测分等效率取决于工人的经验水平,分等准确率较低,分等结果不具有客观性;机械分级方法(弯曲
应力法㊁振动测试法㊁应力波法㊁超声波法等)需要依靠专门化的试验测试设备,并且需要专业化操作人员进行试验测试分析,需要投入较大的人力物力资源[4]㊂
锯材的表面质量对木制品的质量起着至关重要的作用㊂锯材的表面质量主要受锯材表面缺陷(如节子㊁孔洞㊁虫眼㊁裂纹等)以及锯材表面纹理的综合影响[5],锯材表面缺陷,会直接影响锯材的使用强度㊂锯材作为木结构建筑中重要的结构用材料,在使用之前必须进行分级划分,以确保所选用的锯材能够满足所需的力学性能(如弹性㊁刚度等)要求㊂锯材的表面缺陷与密度㊁强度等指标一样,在材质检验工作中受到重视[6],如美国㊁法国㊁日本等发达国家已将其作为评价木材质量和决定木材产品价值的重要参考[7]㊂
目前针对锯材的表面质量评价仍主要依赖人工目测分级,然而目测分级方法不仅需要评判人员拥有大量的生产实践经验,同时还需要掌握锯材的各种缺陷与强度的关系性能等知识㊂更为重要的是,目测分级评判结果会因人而异,评判标准不具有客观性,不能做到优材优用㊁合理使用,无法真正提高木材的综合利用率㊂
在木材缺陷表面缺陷识别研究领域,国内外学者提出了一些基于机器视觉的木材表面缺陷检测方法㊂在这些基于机器视觉的木材表面缺陷的检测方法中,常用的典型方法主要包括基于支持向量机的木材表面缺陷识别[8-9]㊁基于小波变换和局部二值模式(LBP)的方法[10]㊁基于颜色和纹理特征
D1驾照的方法[11]㊁基于灰度共生矩阵和基于模糊BP神经网络的方法和基于小波变换和k近邻(KNN)的识别算法[12]等㊂然而,木材缺陷的形状㊁颜色㊁大小㊁质地和其他特征差异很大,使得难以分割和检测木材表面缺陷㊂这使得上述识别木材缺陷的方法在一定程度上具有局限性,并且难以均匀地检测和分割木材表面缺陷㊂
笔者基于YOLOv4算法的深度学习方法,选取国内常用的云杉结构用锯材为研究对象,通过工业相机采集结构用锯材表面主要缺陷(节子㊁虫眼㊁裂纹),对锯材主要缺陷进行数字化表征(缺陷位置㊁类型等信息的可视化),定量地评价结构用锯材表面缺陷,为结构用锯材表面缺陷识别提供一种可行的方法㊂
简单电路1㊀材料与方法
1.1㊀锯材表面缺陷图像数据采集
基于YOLOv4的结构用锯材表面缺陷识别评价,需要搭建适宜的锯材表面图像采集装置,并获取足够数量的锯材缺陷图像㊂图1为笔者所在课题组搭建的锯材表面图像采集平台,图2为部分经过裁剪为256ˑ256像素特定大小的锯材表面典型缺陷图像㊂课题组选取Baslera2A2590⁃22gcPROGigE相机采集锯材表面缺陷图片,其水平/垂直分辨率为2592ˑ1944px,分辨率为5Mp,帧速率为22fps,帧速率压缩超越最高可达60fps,工作温度为0 5
0ħ㊂为了满足深度学习算法样本训练的需求,共采集活节㊁死节㊁裂纹以及虫眼4种类型锯材表面缺陷(图2)㊂
1.2㊀锯材表面缺陷识别方法
深度学习方法之所以在林业中得到众多科研人员的青睐,主要是由于深度学习作为一种深层的机器学习结构模型,在解决高维数据方面具有显著
121
林业工程学报第6
图1㊀锯材表面图像采集平台
Fig.1㊀Sawntimbersurfaceimageacquisition
platform
图2㊀典型锯材表面缺陷图像
Fig.2㊀Imagesoftypicalsurfacedefectsofsawntimber
优势[13-14]㊂深度学习网络模型采用端到端㊁多隐层㊁逐层学习的方式,其工作原理就是仿照人类大脑的思维特质,由浅入深地对数据特征进行挖掘和学习,更加适应于大数据㊁数据特征抽象复杂等情况[15]㊂目前最为常用的深度学习模型多采用多层神经网络,而每一层神经网络均会将输入进行非线性映射,经过多层神经网络的非线性映射后,可以实现在深层神经网络中分析计算出较为抽象的特征,从而实现对复杂问题的分类[16]㊂随着深度学
习在林业中应用的不断深入,越来越多基于深度学习方法的林业问题得以解决[17-19]㊂
1.2.1㊀YOLO算法模型概述YOLO(youonlylookonce)算法模型作为基
于回归的目标检测方法的典型代表,Redmon等[20]于2016年首次提出YOLOv1的近乎实时目标检测深度学习框架㊂YOLOv1在处理目标检测时,将待检测目标作为回归问题处理,仅需对输入的待检测目标图像做一次处理任务,便可以得
21
乳头美白
㊀第4期王勇,等:基于YOLOv4的结构用锯材表面缺陷识别
到待检测图像的目标位置坐标以及识别类型结果㊂YOLO算法的基本思想结构示意图如图3所示,YOLOv1在执行目标检测时,会将待检测图像缩放至448ˑ448的固定尺寸,再通过卷积神经网络(CNN)实现目标边界框坐标㊁目标类型以及所判别类型的置信度预测,最后利用非极大值抑制算法(non⁃maximumsuppression,NMS)获取最佳预测框实现目标检测
图3㊀YOLO算法的基本思想结构示意图
炭打一成语Fig.3㊀StructuraldiagramofthebasicideaofYOLOalgorithm
㊀㊀YOLOv1在目标检测时得益于不需要生成候选区,使得其检测速度要优越于基于候选区域的检测算法,检测速度可达到45fps㊂虽然YOLOv1算法拥有较高的检测速度,但YOLOv1网格划分较粗,检测精度较低㊂鉴于YOLOv1存在的问题和不足,2017年Redmon等[21]提出了YOLOv2,其采用了与VGG网络结构类似的Darknet⁃19作为其基本结构,并增加了锚点框(anchorboxes)预测边界框,显著提升了YOLOv2的目标检测精度㊂为了进一步优化YOLOv2,2018年Lu等[22]提出了YOLOv2的升级版本YOLOv3,YOLOv3采用了更深的Dark⁃net⁃53网络结构,Darknet⁃53网络结构与ResNet101网络结构的效果相当,但其在网络的识别速度是后者的2倍㊂为克服YOLOv2对小目标检测精度不高的问题,YOLOv3的Darknet⁃53网络结构采用了3ˑ3和1ˑ1的卷积和残差结构形式,并且采用了FPN(featurepyramidnetworksforobjectdetection)优化其多尺度检测效果,在网络的3个不同位置3种不同尺度的特征映射中实施检测,从而优化了对小目标的检测效果㊂
1.2.2㊀YOLOv4算法模型
YOLOv4检测算法在YOLOv3算法的基础上采用了更为复杂的网络结构,对数据处理㊁算法主干网络㊁网络训练以及损失函数等方面进行了优化,使得YOLOv4检测算法成为目前在目标检测速度和精度两者最为均衡的算法结构㊂YOLOv4通过综合使用Mosaic数据增强方法和遗传算法(GA),更为准确地选择超优参数,使得使用者在有限的GPU资源条件下就可获得较好的检测效果,极大地降低了数据训练对硬件的要求㊂
对输入的待检测图像,YOLOv4检测算法通过特征提取网络,获取待检测目标图像的特征,并将输入图像划分为SˑS的网格,并由目标中心所在的网格负责检测任务㊂同时,YOLOv4检测算法采用IoU评价预测框和真实框间的交并比,其表达式如公式(1)所示㊂YOLOv4检测算法利用交并比IoU,检测算法评价边界框中是否存在待检测目标以及边界框的准确度,采用置信度Conf(Object)表征待检测目标的准确程度,置信度表达式如公式(2)所示㊂
IoU=area(box(pred)ɘbox(truth))
area(box(pred)ɣbox(truth))(1)
Conf(object)=Pr(object)ˑIoU(2)式中:Pr(object)表征候选框中是否存在待检测目标,并采用数字1和0表示存在和不存在两种情况;IoU为评价预测框和真实框间的交并比;box(pred)为预测框,box(truth)为真实框㊂
YOLOv4检测算法采用CSPDarknet⁃53作为其主干网络,SPP为Neck附加模块,PANet为Neck的特征融合模块㊂其中CSPDarknet⁃53中有5个大残差单元,每个小残差单元个数分别为1㊁2㊁8㊁8㊁4[23]㊂图4为YOLOv4算法网络结构示意图㊂
321
林业工程学报第6
图4㊀YOLOv4算法网络结构示意图
Fig.4㊀NetworkstructurediagramofYOLOV4algorithm
2㊀实验与分析
2.1㊀实验平台
开展基于YOLOv4算法的结构用锯材表面缺陷检测,实验平台为Windows10ˑ64操作系统,CPU为Intel®Core(TM)i7⁃10700处理器,显卡为NVIDIA®GeForce®GTX1660Ti6GBGDDR6,内存16G,深度学习软件系统为CUDA11.0㊁cuDNN7.6.5㊁VisualStudio2019㊁OpenCV3.4㊁Python3.7.7㊂
2.2㊀实验样本数据
实验测试前,通过结构锯材表面缺陷采集系统
(图3)共采集锯材表面缺陷1450张,其中活节缺陷550张,死节缺陷320张,裂纹缺陷2
95张,虫眼缺陷285张㊂其中,随机选取缺陷图像中80%的图像进行训练,剩余20%用于测试㊂实验样本数据均采用图像缺陷标注软件labelImg进行人工标注(图5),并生成相应的xml格式标记文件,实验样本具体实验数据如表1所示
图5㊀基于labelImg软件的锯材表面缺陷样本数据标注
Fig.5㊀Datalabelingofsurfacedefectsofsawn
timberusinglabelImgsoftware
表1㊀锯材表面缺陷图像样本分配情况Table1㊀Tableofsampledistribution
ofsawsurfacedefects
缺陷类型
图像数量训练样本数
测试样本数认识时间
活节550440110死节32025664裂纹29523659虫眼28522857合计
1450
1160
290
2.3㊀实验测试
悲伤的照片
对活节㊁死节㊁虫眼以及裂纹等4类缺陷的实验样本图像分别进行标定之后,生成对应的xml格式标记文件㊂基于YOLOv4架构搭建深度学习模型,并设置训练样本时的一批样本数量batch=64,动量参数momentum=0.949,权重衰减正则项decay=0.0005㊂数据增强参数angle为30ʎ,60ʎ,
90ʎ,120ʎ,150ʎ,180ʎ,通过旋转角度生成更多训练样本;数据增强参数saturation=1.5,通过调整饱和度来生成更多训练样本;数据增强参数exposure=1.5,通过调整曝光量来生成更多训练样本;数据增强参数hue=0.1,通过调整色调来生成更多训练样本㊂设置决定着权值更新的速度的learningrate=0.001,最大迭代次数maxbatches=4000㊂图6为实验样本训练过程中,随迭代次数的增加,损失函数值和平均识别率实时变化情况㊂通过分析图6可知,迭代次数进行到2600次时,训练的识别率出现了100%正确识别,同时损失函数值为0.4左右,达到了较好的识别效果㊂
21

本文发布于:2023-07-12 11:45:31,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/1078447.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:缺陷   锯材   表面   检测   结构   图像   方法   算法
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图