一种无人机悬索桥主缆巡检路径规划的方法及装置
1.本发明属于桥梁检测技术领域，尤其涉及一种无人机悬索桥主缆巡检路径规划的方法。
背景技术：
2.悬索桥通常由两根或四根主缆将桥面荷载传递到桥塔和主缆锚固端。作为悬索桥的最主要承重构件，其造价昂贵，在桥梁使用期内几乎不可更换，因此，主缆结构的安全状态将直接决定悬索桥的服役寿命。悬索桥主缆大多采用钢丝镀锌、腻子、缠丝、涂装组成的传统四元防护体系。主缆内部腐蚀的一个主要原因是服役期内主缆外层防护体系的表观病害，包括涂装层老化脱落、刮伤破损、索夹环缝密封损坏等。主缆检查主要是基于常规人工巡检，其效率低、危险性大、主观性强，无法做到全覆盖检测，表观病害检查仅限于检查人员可到达的缆索表面区域，缆索底部或侧面的病害定位难度较大。此外，人工巡检无法定量评估因表观病害引起的缆索渗水、积水程度。
3.近年来，日臻成熟的无人机技术为缆索体系的检测与监测提供了新的契机。虽然无人机在桥梁表观病害方面已有应用，但是常采用人工操作无人机来进行桥梁病害的检测，自动化程度低，且对于主缆的表观病害巡检人工操作难度较大，需要提出一种无人机悬索桥主缆巡检路径规划的方法，以提高无人机主缆巡检的自动化程度。
技术实现要素：
4.本发明所要解决的技术问题是：为了克服上述现有技术的不足，提出一种无人机悬索桥主缆巡检路径规划的方法。
5.本发明为解决以上技术问题而采用以下技术方案：本发明首先提出一种无人机悬索桥主缆巡检路径规划的方法，具体包括如下步骤：s1:数据图像采集。在进行无人机主缆巡检路径规划之前需要先建立桥梁的环境模型，利用无人机搭载光学相机对桥梁结构以及结构周边的环境信息进行采集，然后进行数据处理，将实际的物理环境空间抽象成算法可以处理的数学模型空间，实现环境到模型之间的映射。
6.建立桥梁模型的目的是让无人机的路径规划更可靠并且有据可循，本发明利用无人机对桥梁进行倾斜摄影测量的影像数据建立环境模型作为无人机路径规划的工作空间，在桥梁主缆上手动标记特征点，以特征点为依据进行路径规划。
7.基于无人机倾斜摄影测量建立桥梁三维模型分为外业倾斜摄影测量图像采集和内业三维模型重建两个步骤。
8.对于外业倾斜摄影图像采集，为了保证模型重建质量，首先在高于索塔顶部标高20~30米的水平面上采集全桥影像，云台倾斜角设为45
°
，航线设为环形。对于建筑高度较高的索塔，为保证索塔拍摄完整，在约两倍索塔高度的水平面上上补拍索塔影像，云台倾斜角
设为45
°
，航线设为环形。为保证良好的建模效果，还需要对桥面进行补拍，在桥面两侧分别高于桥面20、30、40和50米折返拍摄桥面，云台倾斜角宜设为30
°
~45
°
。
9.s2:三维模型重建。内业三维模型重建主要包括五个步骤：航摄数据下载及图像预处理，从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为pos文件；空中三角测量控制点加密，空三加密是倾斜摄影建模的核心步骤，其主要目的是将无序的影像在空间中相互对齐并构建接近真实状态的空间模型，主要处理流程包括载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算；密集点云生成及模型构建，根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配可获得高密度的数字点云，密集点云数据量较大，将数据分块后进行不同层次细节度下的tin模型构建；纹理切片及自动映射，根据三角网所构成曲面的曲度变化对tin模型数据进行简化，最后将优化后的tin模型和纹理影像进行配准和贴图；三维模型重建，依次按照密集点云生成、tin模型构建、纹理自动映射三个步骤来完成后，最终生成三维虚拟场景模型。
10.s3:特征点标记。建立悬索桥的三维模型后，对主缆的特征点手动标定，并生成主缆巡检航线，航向重叠率宜在50%以上。
11.主缆特征点必须具有概括主缆形状结构的特性，主缆在空间特性上大致符合线性分布，手动选取主缆上部点作为主缆特征点，为保证特征点能较好地概括主缆线形，特征相邻点距离不宜过大。选取的特征点可以把主缆的线形表达出来，但不足以表达主缆的特性，在引入主缆的半径元素
푅
就可以把主缆的形状表达出来，这些特征点和主缆半径
푅
被称为主缆的特征元素。
12.s4:生产巡检航线。依据从环境模型手动提取出来的特征点自动计算无人机飞行航点是路径规划算法的根本任务，无人机按照航点飞行自动形成飞行路径。
13.s4.1、内插航点。主缆上部点和半径是路径规划的特征元素，主缆的上部点标记为
푄1, 푄2, 푄3,
…
, 푄
푘
,
…
, 푄
푚
，（
푄
푘
(
푥
푘
, 푦
푘
, 푧
푘
)，
푘
∊
{1,2,3,
…
,
푚
}）。将特征点
푄1设为航点
푃1，依据航向水平及竖直重叠率，依次在各个特征点之间计算内插航点的坐标。
14.s4.2、航线拓展。内插航点完成后，拓展航点生成航线，对航线进行在主缆两侧及上部进行拓展，同时应考虑到上部特征点对于主缆中心的偏移距离。
15.s4.3、路径规划文件生成。在拓展航点生成航线后，最后调整无人机姿态，云台俯仰角输出无人机路径规划kml文件。
16.本发明还提出一种无人机悬索桥主缆巡检路径规划的装置，包括：数据图像采集模块，其被配置以执行以下动作：建立桥梁的环境模型，利用无人机搭载光学相机对桥梁结构以及结构周边的环境信息进行采集，然后进行数据处理，将实际的物理环境空间抽象成算法可以处理的数学模型空间，实现环境到模型之间的映射；三维模型重建模块，用于生成三维虚拟场景模型；特征点标记模块，其被配置以执行以下动作：建立悬索桥的三维模型后，对主缆的特征点手动标定，并生成主缆巡检航线；生成巡检航线模块，其被配置以执行以下动作：依据从环境模型手动提取出来的特征点自动计算无人机飞行航点，无人机按照航点飞行自动形成飞行路径。
17.进一步的，本发明所提出的一种无人机悬索桥主缆巡检路径规划的装置，三维模型重建模块包括：航摄数据下载及图像预处理单元，其被配置以执行以下动作：从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为pos文件；空中三角测量控制点加密单元，包括：载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算；密集点云生成及模型构建单元，其被配置以执行以下动作：根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配获得高密度的数字点云，将数据分块后进行不同层次细节度下的tin模型构建；纹理切片及自动映射单元，其被配置以执行以下动作：根据三角网所构成曲面的曲度变化对tin模型数据进行简化，最后将优化后的tin模型和纹理影像进行配准和贴图；三维模型重建单元，其用于：生成三维虚拟场景模型。
18.本发明还提出一种电子设备，包括：存储器和处理器，所述存储器存储由所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述本发明的无人机悬索桥主缆巡检路径规划的方法。
19.最后，本发明还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现本发明的无人机悬索桥主缆巡检路径规划的方法。本发明采用以上技术方案，与现有技术相比，本发明的有益效果是：针对主缆的表观病害巡检人工操作难度较大的问题，提出了一种无人机悬索桥主缆巡检路径规划的方法，无人机的飞行轨迹由一系列高精度航点坐标组成，能够实现无人机自动飞行与拍摄，无人机能够依据飞行路线进行高精度的作业，完成检测任务。
附图说明
20.图1是一种实施例子下悬索桥倾斜摄影航线示意图。
21.图2是一种实施例子下航向重叠率计算示意图。
22.图3是一种实施例子下主缆上部特征点中内插航点示意图。
23.图4是一种实施例子下拓展航点生成巡检航线示意图。
24.图5是本发明的方法流程图。
具体实施方式
25.下面结合附图对本发明进一步说明。本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
26.参考图5所示，本发明的具体流程如下：在进行无人机主缆巡检路径规划之前需要先建立桥梁的环境模型，利用无人机搭载光学相机对桥梁结构以及结构周边的环境信息进行采集，然后进行数据处理，将实际的物理环境空间抽象成算法可以处理的数学模型空间，实现环境到模型之间的映射。
27.建立桥梁模型的目的是让无人机的路径规划更可靠并且有据可循，本发明利用无人机对桥梁进行倾斜摄影测量的影像数据建立环境模型作为无人机路径规划的工作空间，在桥梁主缆上手动标记特征点，以特征点为依据进行路径规划。
28.基于无人机倾斜摄影测量建立桥梁三维模型分为外业倾斜摄影测量图像采集和内业三维模型重建两个步骤。
29.对于外业倾斜摄影图像采集，为了保证模型重建质量，首先在高于索塔顶部标高20~30米的水平面上采集全桥影像，云台倾斜角设为45
°
，航线设为环形。对于建筑高度较高的索塔，为保证索塔拍摄完整，在约两倍索塔高度的水平面上上补拍索塔影像，云台倾斜角设为45
°
，航线设为环形。为保证良好的建模效果，还需要对桥面进行补拍，在桥面两侧分别高于桥面20、30、40和50米折返拍摄桥面，云台倾斜角宜设为30
°
~45
°
。悬索桥倾斜摄影航线实例如附图1所示。
30.内业三维模型重建主要包括五个步骤：航摄数据下载及图像预处理，从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为pos文件；空中三角测量控制点加密，空三加密是倾斜摄影建模的核心步骤，其主要目的是将无序的影像在空间中相互对齐并构建接近真实状态的空间模型，主要处理流程包括载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算；密集点云生成及模型构建，根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配可获得高密度的数字点云，密集点云数据量较大，将数据分块后进行不同层次细节度下的tin模型构建；纹理切片及自动映射，根据三角网所构成曲面的曲度变化对tin模型数据进行简化，最后将优化后的tin模型和纹理影像进行配准和贴图；三维模型重建，依次按照密集点云生成、tin模型构建、纹理自动映射三个步骤来完成后，最终生成三维虚拟场景模型。
31.建立悬索桥的三维模型后，对主缆的特征点手动标定，并生成主缆巡检航线，航向重叠率宜在50%以上。
32.主缆特征点必须具有概括主缆形状结构的特性，主缆在空间特性上大致符合线性分布，选取主缆上部点作为主缆特征点，为保证特征点能较好地概括主缆线形，特征相邻点距离不宜过大。选取的特征点可以把主缆的线形表达出来，但不足以表达主缆的特性，在引入主缆的半径元素
푅
就可以把主缆的形状表达出来，这些特征点和主缆半径
푅
被称为主缆的特征元素。
33.依据从环境模型手动提取出来的特征点自动计算无人机飞行航点是路径规划算法的根本任务，无人机按照航点飞行自动形成飞行路径。
34.主缆上部点和半径是路径规划的特征元素，主缆的上部点标记为
푄1, 푄2, 푄3,
…
, 푄
푘
,
…
, 푄
푚
，（
푄
푘
(
푥
푘
, 푦
푘
, 푧
푘
)，
푘
∊
{1,2,3,
…
,
푚
}）。如附图2所示，相机传感器尺寸为mm，焦距为d mm，物距为
퐷 mm，画面拍摄范围计为
퐵
×
퐻 mm，航向水平重叠率为
휎
，可求得水平向航点距离
푆
푥푦
为：航向竖直重叠率为
훿
，可求得铅垂向航点距离
푆
푧
为：
水平向航点距离
푆
푥푦
和铅垂向航点距离
푆
푧
数量关系如下：若假设水平及竖直航向重叠率应均大于
푣
：：若航向竖直重叠率，则不需要重新计算，否则：否则：将特征点
푄1设为航点
푃1，依次在各个特征点之间计算内插航点的坐标，若为
푄
푘-1
和
푄
푘
之间的一个航点，则
푃
푖
坐标为：若则：在特征点（
푄
푘
(
푥
푘
, 푦
푘
, 푧
푘
)，
푘
∊
{1,2,3,
…
,
푚
}）中内插航点示意图如附图3，内插航点完成后，拓展航点生成航线，主缆半径记为
푅
，连接各个标记点折线的地面投影线方程为：
对地面投影折线段斜率的反正切值取加权平均（arctan(
퐴
푘
)
∊
[0,
휋
)），权值定义为投影折线段长度与投影折线段总长度
푆
的比值。
[0035][0035]
在与加权斜率垂直的方向对航线进行拓展，同时考虑到上部特征点对于主缆中心的偏移距离，可求得主缆的两侧（云台俯仰角为90
°
）和上部巡检航线上的航点
푃
푖1、
푃
푖2、
푃
푖3分别为：特别的，当无人机俯仰角为
휑
时，主缆的两侧航线上的航点
푃
푖1、
푃
푖2分别为：在拓展航点生成航线如附图4所示，最后调整无人机姿态，云台俯仰角输出无人机路径规划kml文件。
[0036]
本发明还提出一种无人机悬索桥主缆巡检路径规划的装置，包括：数据图像采集模块，其被配置以执行以下动作：建立桥梁的环境模型，利用无人机搭载光学相机对桥梁结构以及结构周边的环境信息进行采集，然后进行数据处理，将实际的物理环境空间抽象成算法可以处理的数学模型空间，实现环境到模型之间的映射；三维模型重建模块，用于生成三维虚拟场景模型；特征点标记模块，其被配置以执行以下动作：建立悬索桥的三维模型后，对主缆的特征点手动标定，并生成主缆巡检航线；生成巡检航线模块，其被配置以执行以下动作：依据从环境模型手动提取出来的特征点自动计算无人机飞行航点，无人机按照航点飞行自动形成飞行路径。
[0037]
进一步的，本发明所提出的一种无人机悬索桥主缆巡检路径规划的装置，三维模型重建模块包括：航摄数据下载及图像预处理单元，其被配置以执行以下动作：从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为pos文件；空中三角测量控制点加密单元，包括：载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算；密集点云生成及模型构建单元，其被配置以执行以下动作：根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配获得高密度的数字点云，将数据分块后进行不同层次细节度下的tin模型构建；纹理切片及自动映射单元，其被配置以执行以下动作：根据三角网所构成曲面的曲度变化对tin模型数据进行简化，最后将优化后的tin模型和纹理影像进行配准和贴图；三维模型重建单元，其用于：生成三维虚拟场景模型。
[0038]
需要说明的是，本技术实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。
[0039]
本发明还提出一种电子设备，包括：存储器和处理器，所述存储器存储由所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述本发明的无人机悬索桥主缆巡检路径规划的方法。
[0040]
最后，本发明还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现本发明的无人机悬索桥主缆巡检路径规划的方法。
[0041]
用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0042]
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
技术特征：
1.一种无人机悬索桥主缆巡检路径规划的方法，其特征在于，包括：s1、数据图像采集：建立桥梁的环境模型，利用无人机搭载光学相机对桥梁结构以及结构周边的环境信息进行采集，然后进行数据处理，将实际的物理环境空间抽象成算法可以处理的数学模型空间，实现环境到模型之间的映射；s2、进行三维模型重建，生成三维虚拟场景模型；s3、特征点标记：建立悬索桥的三维模型后，对主缆的特征点手动标定，并生成主缆巡检航线；s4、生成巡检航线：依据从环境模型手动提取出来的特征点自动计算无人机飞行航点，无人机按照航点飞行自动形成飞行路径。2.根据权利要求1所述的一种无人机悬索桥主缆巡检路径规划的方法，其特征在于，步骤s2具体包括：航摄数据下载及图像预处理：从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为pos文件；空中三角测量控制点加密，包括：载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算；密集点云生成及模型构建：根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配获得高密度的数字点云，将数据分块后进行不同层次细节度下的tin模型构建；纹理切片及自动映射：根据三角网所构成曲面的曲度变化对tin模型数据进行简化，最后将优化后的tin模型和纹理影像进行配准和贴图；三维模型重建：生成三维虚拟场景模型。3.根据权利要求1所述的一种无人机悬索桥主缆巡检路径规划的方法，其特征在于，步骤s3中，手动选取主缆上部点作为主缆特征点，并引入主缆的半径元素
푅
来表达主缆的形状特征。4.根据权利要求1所述的一种无人机悬索桥主缆巡检路径规划的方法，其特征在于，生成巡检航线时，航向重叠率宜在50%以上。5.根据权利要求1所述的一种无人机悬索桥主缆巡检路径规划的方法，其特征在于，步骤s4中，主缆航线路径规划方法，包括在特征点间内插航点、航线拓展、路径规划文件生成三个步骤，具体包括：s4.1、内插航点：主缆上部点和半径是路径规划的特征元素，主缆的上部点标记为
푄1, 푄2, 푄3,
…
, 푄
푘
,
…
, 푄
푚
，其中
푄
푘
(
푥
푘
, 푦
푘
, 푧
푘
)，
푘
∊
{1,2,3,
…
,
푚
}，将特征点
푄1设为航点
푃1，依据航向水平及竖直重叠率，依次在各个特征点之间计算内插航点的坐标；s4.2、航线拓展：内插航点完成后，拓展航点生成航线，对航线进行在主缆两侧及上部进行拓展，同时应考虑到上部特征点对于主缆中心的偏移距离；s4.3、路径规划文件生成：在拓展航点生成航线后，最后调整无人机姿态，云台俯仰角输出无人机路径规划kml文件。6.一种无人机悬索桥主缆巡检路径规划的装置，其特征在于，包括：数据图像采集模块，其被配置以执行以下动作：建立桥梁的环境模型，利用无人机搭载
光学相机对桥梁结构以及结构周边的环境信息进行采集，然后进行数据处理，将实际的物理环境空间抽象成算法可以处理的数学模型空间，实现环境到模型之间的映射；三维模型重建模块，用于生成三维虚拟场景模型；特征点标记模块，其被配置以执行以下动作：建立悬索桥的三维模型后，对主缆的特征点手动标定，并生成主缆巡检航线；生成巡检航线模块，其被配置以执行以下动作：依据从环境模型手动提取出来的特征点自动计算无人机飞行航点，无人机按照航点飞行自动形成飞行路径。7.根据权利要求6所述的一种无人机悬索桥主缆巡检路径规划的装置，其特征在于，三维模型重建模块包括：航摄数据下载及图像预处理单元，其被配置以执行以下动作：从无人机设备中下载航摄数据，并检查数据完整性，将飞行姿态和坐标信息导出为pos文件；空中三角测量控制点加密单元，包括：载入数据、影像特征点提取、同名特征点匹配、影像外方位元素反算；密集点云生成及模型构建单元，其被配置以执行以下动作：根据空中三角测量运算出的影像外方位元素，通过多视影像密集匹配获得高密度的数字点云，将数据分块后进行不同层次细节度下的tin模型构建；纹理切片及自动映射单元，其被配置以执行以下动作：根据三角网所构成曲面的曲度变化对tin模型数据进行简化，最后将优化后的tin模型和纹理影像进行配准和贴图；三维模型重建单元，其用于：生成三维虚拟场景模型。8.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储由所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-5任一项所述的无人机悬索桥主缆巡检路径规划的方法。9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-5任一项所述的无人机悬索桥主缆巡检路径规划的方法。
技术总结
本发明公开了一种无人机悬索桥主缆巡检路径规划方法，包括以下步骤：数据图像采集，利用无人机搭载光学相机对桥梁结构以及结构周边的环境信息进行采集；三维模型重建，内业三维模型重建；特征点标记，建立悬索桥的三维模型后，手动选取主缆上部点作为主缆特征点，并引入主缆的半径元素
