一种3D目标检测方法、计算机程序产品及电子设备与流程
一种3d目标检测方法、计算机程序产品及电子设备
技术领域
1.本技术涉及目标检测技术领域，具体而言，涉及一种3d目标检测方法、计算机程序产品及电子设备。
背景技术：
2.目标检测是计算机视觉领域的传统任务，与图像识别不同，目标检测不仅需要识别出图像上存在的物体并给出对应的类别，还需要给出该物体的位置给出。其中，目标检测包括2d目标检测以及3d目标检测，3d目标检测是指输出物体类别及在三维空间中的长宽高、旋转角等信息的目标检测方式。
3.3d目标检测可以应用于多个领域，例如：自动驾驶领域、辅助驾驶领域、交通流量监测、工业检测等。其中，在3d目标检测中，相机扰动的问题普遍存在。以自动驾驶和辅助驾驶领域为例，相机扰动一般来自外物碰撞或者来自路面颠簸等。在3d目标检测的过程中，相机扰动会导致目标检测框架中的相机的内参与标定值相比存在一定的偏差，从而影响目标检测的准确性。
技术实现要素：
4.本技术实施例的目的在于提供一种3d目标检测方法、计算机程序产品及电子设备，用以解决现有技术中目标检测的准确性较低的技术问题。
5.第一方面，本技术实施例提供一种3d目标检测方法，包括：对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征；根据所述图像特征确定内参扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息；根据所述修正内参信息以及所述图像特征进行3d目标检测。在上述方案中，在得到图像特征之后，可以基于图像特征对图像采集装置的原始内参信息进行修正，从而使得得到的修正内参信息更适应于采集待检测图像时的场景。因此，即使由于相机扰动的问题导致了图像采集装置的原始内参信息发生了偏差，也可以通过本技术提供的3d目标检测方法对原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
6.在可选的实施方式中，所述根据所述图像特征确定内参扰动变换信息，包括：对所述图像特征进行降维度处理，得到降维后的第一中间特征；对所述第一中间特征进行特征提取，得到第二中间特征；将所述第二中间特征展开并进行回归处理，得到所述内参扰动变换信息。在上述方案中，通过对图像特征进行处理，可以得到对应的内存扰动变换信息，从而可以根据上述内参扰动变换信息对图像采集装置的原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
7.在可选的实施方式中，所述内参扰动变换信息通过内参扰动矩阵表征，所述原始内参信息通过原始内参矩阵表征，所述修正内参信息通过修正内参矩阵表征；所述基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息，
包括：计算所述内参扰动矩阵与所述原始内参矩阵的乘积，得到所述修正内参矩阵。在上述方案中，内参扰动变换信息可以通过内参扰动矩阵表征，原始内参信息可以通过原始内参矩阵表征，修正内参信息也可以通过修正内参矩阵表征。因此，通过矩阵乘法，可以实现对原始内参信息的修正，从而提高3d目标检测的准确性。
8.在可选的实施方式中，所述根据所述修正内参信息以及所述图像特征进行3d目标检测，包括：根据所述修正内参信息将所述图像特征投影至3d空间中，得到对应的3d位置编码；其中，所述待检测图像中一个像素点的图像特征对应一个3d位置编码；根据所述3d位置编码以及所述图像特征对所述待检测目标进行3d目标检测。在上述方案中，在对图像采集装置的原始内参信息进行修正，得到修正内参信息之后，可以根据上述修正内参信息以及图像特征进行3d目标检测，从而可以提高3d目标检测的准确性。
9.在可选的实施方式中，所述对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征的步骤，通过3d目标检测模型中的特征提取网络执行；所述根据所述图像特征确定内参扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息的步骤，通过所述3d目标检测模型中的内参修正网络执行；所述根据所述修正内参信息以及所述图像特征进行3d目标检测的步骤，通过所述3d目标检测模型中的目标检测网络执行。在上述方案中，本技术实施例提供的3d目标检测方法可以通过3d目标检测模型执行，其中，3d目标检测模型可以包括特征提取网络、内参修正网络以及目标检测网络。基于上述3d目标检测模型，可以对图像采集装置的原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
10.在可选的实施方式中，所述内参估计模型包括：多层1
×
1卷积层。在上述方案中，内参估计模型中的1
×
1卷积层可以在不改变图像特征维度的基础上，提取更丰富的特征；而多层1
×
1卷积层可以加深网络深度，从而降低该修正分支与检测分支的影响，提高3d目标检测的准确性。
11.在可选的实施方式中，所述3d目标检测模型通过如下过程进行训练：获取样本图像、对应的真实内参以及对应的训练标注结果；根据所述样本图像、所述真实内参以及所述训练标注结果对所述特征提取网络、所述内参修正网络以及所述目标检测网络的参数进行更新；其中，训练过程中输入所述目标检测网络中的内参为所述真实内参。在上述方案中，利用样本图像、对应的真实内参以及对应的训练标注结果，可以对3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络进行训练，从而可以利用训练后的3d目标检测模型进行3d目标检测，得到准确性较高的目标检测结果。其中，训练过程中输入目标检测网络中的内参可以为真实内参，从而提高训练的稳定性。
12.在可选的实施方式中，在所述根据所述样本图像、所述真实内参以及所述标注结果对所述特征提取网络、所述内参修正网络以及所述目标检测网络的参数进行更新之后，训练后的3d目标检测模型通过如下过程进行测试：获取测试图像以及对应的测试标注结果；根据所述测试图像以及所述测试标注结果对训练后的特征提取网络、训练后的内参修正网络以及训练后的目标检测网络进行测试；其中，测试过程中输入训练后的3d目标检测网络的内参为训练后的内参修正网络输出的预测内参。在上述方案中，在对3d目标检测模型训练完成之后，可以进一步对训练后的3d目标检测模型进行测试，以测试3d目标训练模
型是否满足3d目标检测的需求，从而保证3d目标检测的准确性。
13.第二方面，本技术实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如第一方面所述的3d目标检测方法。
14.第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的3d目标检测方法。
15.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的3d目标检测方法。
16.为使本技术的上述目的、特征和优点能更明显易懂，下文特举本技术实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
18.图1为本技术实施例提供的一种3d目标检测方法的流程图；
19.图2为本技术实施例提供的一种3d目标检测模型的示意图；
20.图3为本技术实施例提供的一种内参修正网络的结构框图；
21.图4为本技术实施例提供的一种3d目标检测装置的结构框图；
22.图5为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
23.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
25.请参照图1，图1为本技术实施例提供的一种3d目标检测方法的流程图，该3d目标检测方法可以但不限于由图5示出的电子设备执行。举例来说，本技术实施例提供的3d目标检测方法可以由图像采集装置、车载控制器等执行；或者，本技术实施例提供的3d目标检测方法也可以由云端服务器执行等。
26.其中，在本技术实施例中，可以利用3d目标检测模型执行图1中的3d目标检测方法。请参照图2，图2为本技术实施例提供的一种3d目标检测模型的示意图。该3d目标检测模型包括特征提取网络、内参修正网络以及目标检测网络，特征提取网络与内参修正网络以及目标检测网络连接，内参修正网络与目标检测网络连接。
27.其中，特征提取网络用于基于图像采集装置采集的待检测目标对应的待检测图像提取图像特征，内参修正网络用于基于上述图像特征对图像采集装置的原始内参信息进行修正，得到修正后的修正内参信息，目标检测网络用于基于修正后的修正内参信息以及图像特征对进行3d目标检测。
28.本技术实施例对特征提取网络以及目标检测网络的具体结构均不作具体的限定，本领域技术人员可以根据实际情况进行合适的选择。举例来说，特征提取网络可以采用resnet50、resnet101、vovnet等网络实现；而目标检测网络可以采用用于多视图三维目标检测的位置嵌入变换(position embedding transformation for multi-view 3d object detection，petr)框架等实现。
29.下面对本技术实施例提供的一种内参修正网络的具体结构进行详细的介绍。
30.作为一种实施方式，上述内参修正网络可以包括：多层1
×
1卷积层。因此，内参修正网络可以在不改变图像特征维度的基础上，提取更丰富的特征；此外，多层1
×
1卷积层可以加深网络深度，从而降低该修正分支(即内参修正网络对应的分支)与检测分支(即目标检测网络对应的分支)的影响，提高3d目标检测的准确性。
31.作为另一种实施方式，请参照图3，图3为本技术实施例提供的一种内参修正网络的结构框图，该内参修正网络可以包括依次连接的以下结构：最大池化层(max pooling)、目标检测特殊层(roi align)、多层1
×
1卷积层(conv 1
×
1)、多层全连接层(fc)。
32.下面以将本技术实施例提供的3d目标检测方法应用于自动驾驶领域为例，对本技术实施例提供的3d目标检测方法进行详细的介绍。请参照图1，本技术实施例提供的3d目标检测方法可以包括如下步骤：
33.步骤s101：对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征。
34.步骤s102：根据图像特征确定内参扰动变换信息，并基于内参扰动变换信息对图像采集装置的原始内参信息进行修正，得到修正内参信息。
35.步骤s103：根据修正内参信息以及图像特征进行3d目标检测。
36.具体的，设置在车辆上的图像采集装置可以每隔一段时间采集周围环境的图像。其中，上述一段时间可以有多种实施方式，例如：5秒、10秒等。
37.可以理解的是，本技术实施例对图像采集装置的具体实施方式不作具体的限定。举例来说，图像采集装置可以为摄像头或者相机等；再如，车辆上可以设置有多个图像采集装置，且多个图像采集装置可以设置在车辆的不同位置时，以使多个图像采集装置采集多个视角的图像，并环绕组成360度全景的感知场景。
38.在车辆行进的过程中，图像采集装置采集待检测目标对应的实时的待检测图像。当车辆行驶平缓时，图像采集装置的内参信息不会受到影响或者受到的影响较小，其与图像采集装置内置的原始内参信息不会存在较大的偏差，因此，可以直接基于上述原始内参信息对进行3d目标检测；而当车辆行驶出现颠簸时，图像采集装置的内参信息会受到影响，其与图像采集装置内置的原始内参信息会存在较大的偏差，因此，此时若仍基于上述原始内参信息进行3d目标检测，则检测结果的准确性会比较低。
39.因此，作为一种实施方式，本技术实施例提供的3d目标检测方法可以仅在车辆出现颠簸时执行，例如：电子设备可以判断车辆在某一时间段内出现颠簸，针对该时间段内采集到的待检测图像，可以采用上述3d目标检测方法。
40.可以理解的是，在该种实施方式中，电子设备可以基于其他传感器采集到的信息判断车辆是否出现颠簸，举例来说，可以基于车辆行驶的轨迹判断车辆是否出现颠簸；或者可以基于车辆行驶的速度判断车辆是否出现颠簸等，本技术实施例对此不作具体的限定。
41.作为另一种实施方式，本技术实施例提供的3d目标检测方法也可以在车辆行进的整个过程中执行，也就是说，针对采集到的所有待检测图像，均采用上述3d目标检测方法。
42.可以理解的是，在该种实施方式中，针对没有发生颠簸时采集到的待检测图像，修正后得到的修正内参信息与修正前的原始内参信息可能是相同的；而针对发生颠簸时采集到的待检测图像，修正后得到的修正内参信息与修正前的原始内参信息可能是不相同的。
43.在执行上述步骤s101之前，可以先获取待检测图像。其中，获取待检测图像的方式有多种，例如：采集待检测图像、接收其他设备发送的待检测图像等，本领域技术人员可以根据实际情况进行合适的选择。
44.在上述步骤s101中，可以对待检测图像进行特征提取，以得到对应的图像特征。可以理解的是，本技术实施例对提取待检测图像的图像特征的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用方向梯度直方图(histogram of oriented gradient，hog)特征提取算法进行图像特征的提取；或者，可以利用神经网络进行图像特征的提取等。
45.作为一种实施方式，可以利用上述实施例中的3d目标检测模型中的特征提取网络提取图像特征，即，可以通过3d目标检测模型中的特征提取网络执行上述步骤s101。也就是说，可以将待检测图像输入至特征提取网络中，特征提取网络对待检测图像进行特征提取，并输出对应的图像特征。
46.可以理解的是，当输入特征提取网络中的待检测图像的数量为多个时，特征提取网络输出的图像特征对应的数量维度大于1，且一个数量维度对应一个待检测图像。举例来说，当输入特征提取网络中的待检测图像的数量为n、特征提取网络的特征维度为c、图像长宽分别为hf以及wf时，特征提取网络输出的图像特征的维度为n
×c×
hf×
wf。
47.在上述步骤s102中，根据上述步骤s101中得到的图像特征，可以确定内参扰动变换信息。可以理解的是，本技术实施例对确定内参扰动变换信息的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以利用图像处理算法确定内参扰动变换信息；或者，可以利用神经网络进行确定内参扰动变换信息等。
48.此外，在上述步骤s102中，还可以根据确定的内参扰动变换信息对图像采集装置的原始内参信息进行修正，以得到修正内参信息。可以理解的是，根据确定的内参扰动变换
信息的形式的不同，修正的方式也不同。举例来说，可以将内参扰动变换信息加在原始内参信息上，得到修正内参信息；或者，可以将内参扰动变换信息与原始内参信息相乘，得到修正内参信息等。
49.作为一种实施方式，可以利用上述实施例中的3d目标检测模型中的内参修正网络确定内参扰动变换信息并对原始内参信息进行修正，即，可以通过3d目标检测模型中的内参修正网络执行上述步骤s102。也就是说，可以将图像特征输入至,内参修正网络中，内参修正网络根据图像特征确定内参扰动信息，基于内参扰动信息对图像采集装置的原始内参信息进行修正，并输出对应的修正内参信息。
50.在上述步骤s103中，根据上述步骤s102中得到的修正内参信息以及上述步骤s101中得到的图像特征，可以进行3d目标检测。可以理解的是，本技术实施例对3d目标检测的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以通过生成3d位置编码，实现3d目标检测；或者，可以采用图神经网络(point-gnn)实现3d目标检测等。
51.作为一种实施方式，可以利用上述实施例中的3d目标检测模型中的目标检测网络进行3d目标检测，即，可以通过3d目标检测模型中的目标检测网络执行上述步骤s103。也就是说，可以将修正内参信息以及图像特征输入至目标检测网络中，目标检测网络基于修正内参以及图像特征进行3d目标检测，得到对应的3d目标检测结果。
52.需要说明的是，在上述实施方式中，特征提取网络、内参修正网络以及目标检测网络均为事先已经训练好的网络，其具体训练方式将在后续实施例中进行介绍，此处暂不作说明。
53.在上述方案中，在得到图像特征之后，可以基于图像特征对图像采集装置的原始内参信息进行修正，从而使得得到的修正内参信息更适应于采集待检测图像时的场景。因此，即使由于相机扰动的问题导致了图像采集装置的原始内参信息发生了偏差，也可以通过本技术提供的3d目标检测方法对原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
54.进一步的，在上述实施例的基础上，上述步骤s102中根据图像特征确定内参扰动变换信息的步骤，具体可以包括如下步骤：
55.步骤1)，对图像特征进行降维度处理，得到降维后的第一中间特征。
56.步骤2)，对第一中间特征进行特征提取，得到第二中间特征。
57.步骤3)，将第二中间特征展开并进行回归处理，得到内参扰动变换信息。
58.具体的，以通过上述图3所示的内参修正网络执行上述步骤s102为例，可以将n
×c×
hf×
wf维度的图像特征输入内参修正网络中，经过最大池化层(max pooling)以及目标检测特殊层(roi align)两层池化操作，对图像特征进行降维度处理，变为维度为n
×c×7×
7的第一中间特征；然后，第一中间特征可以再经过多层1
×
1卷积层(conv 1
×
1)的特征提取，得到第二中间特征；最后，第二中间特征被展开并经过多层全连接层(fc)进行回归处理，可以得到内参扰动变换。
59.在上述方案中，通过对图像特征进行处理，可以得到对应的内存扰动变换信息，从而可以根据上述内参扰动变换信息对图像采集装置的原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
60.进一步的，在上述实施例的基础上，内参扰动变换信息可以通过内参扰动矩阵表征，原始内参信息可以通过原始内参矩阵表征，修正内参信息可以通过修正内参矩阵表征。此时，上述步骤s102中基于内参扰动变换信息对图像采集装置的原始内参信息进行修正，得到修正内参信息的步骤，具体可以包括如下步骤：
61.计算内参扰动矩阵与原始内参矩阵的乘积，得到修正内参矩阵。
62.在上述方案中，内参扰动变换信息可以通过内参扰动矩阵表征，原始内参信息可以通过原始内参矩阵表征，修正内参信息也可以通过修正内参矩阵表征。因此，通过矩阵乘法，可以实现对原始内参信息的修正，从而提高3d目标检测的准确性。
63.进一步的，在上述实施例的基础上，下面介绍通过生成3d位置编码的方式，实现3d目标检测的具体实施方式。此时，上述步骤s103具体可以包括如下步骤：
64.步骤1)，根据修正内参信息将图像特征投影至3d空间中，得到对应的3d位置编码。
65.步骤2)，根据3d位置编码以及图像特征进行3d目标检测。
66.具体的，在上述步骤1)中，3d位置编码的生成可以采用petr的方式：根据修正内参信息并利用图像采集装置的参数，将图像特征中的每个点投影到3d空间，得到待检测图像中每个像素点的图像特征对应的一个3d位置编码。
67.然后，在上述步骤2)中，将图像特征与上述3d位置编码结合，作为检测头的输入，经transformer结构和多层前馈网络(feed-forward network，ffn)，预测多个3d检测属性，从而实现3d目标检测。
68.在上述方案中，在对图像采集装置的原始内参信息进行修正，得到修正内参信息之后，可以根据上述修正内参信息以及图像特征进行3d目标检测，从而可以提高3d目标检测的准确性。
69.进一步的，在上述实施例的基础上，在利用3d目标检测模型执行上述3d目标检测方法之前，可以先对初始的3d目标检测模型进行训练，得到训练后的3d目标检测模型。其中，由于3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络相互耦合，因此在对3d目标检测模型进行训练的过程中，三个网络协同进行训练。
70.下面举例对本技术实施例提供的两种3d目标检测模型的训练方式进行介绍。
71.第一种，3d目标检测模型可以通过如下过程进行训练：
72.步骤1)，获取样本图像以及对应的训练标注结果。
73.步骤2)，根据样本图像以及训练标注结果对特征提取网络、内参修正网络以及目标检测网络的参数进行更新；其中，训练过程中输入3d目标检测网络中的内参为内参修正网络输出的预测内参。
74.具体的，在执行上述步骤2)之前，可以先获取样本图像以及样本图像对应的训练标注结果。其中，获取样本图像的方式有多种，例如：将采集到的图像作为样本图像；或者，接收其他设备发送的或者云端存储的样本图像等，本领域技术人员可以根据实际情况进行合适的选择。类似的，获取与样本图像对应的训练标注结果的方式也有多种，例如：对样本图像进行标注；或者，接收其他设备发送的标注数据等，本领域技术人员同样可以根据实际情况进行合适的选择。
75.在上述步骤2)中，可以将样本图像输入3d目标检测模型中的特征提取网络，输出对应的图像特征；再将图像特征输入3d目标检测模型中的内参修正网络，输出对应的预测
内参(该预测内参为修正后的内参)；再将预测内参以及图像特征输入3d目标检测模型中的目标检测网络，输出对应的预测检测结果；最后，基于上述预测检测结果以及样本图像对应的训练标注结果，可以对3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络的参数进行更新。
76.可以理解的是，在一种实施方式，若内参修正网络中卷积层层数较多，由于其深度较深，因此在上述训练过程中，对特征提取网络的参数更新较少，从而可以降低训练过程中对3d目标检测网络的影响。
77.在上述方案中，利用样本图像以及对应的训练标注结果，可以对3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络进行训练，从而可以利用训练后的3d目标检测模型进行3d目标检测，得到准确性较高的3d目标检测结果。
78.第二种，目标检测模型可以通过如下过程进行训练：
79.步骤1)，获取样本图像、对应的真实内参以及对应的训练标注结果。
80.步骤2)，根据样本图像、真实内参以及训练标注结果对特征提取网络、内参修正网络以及目标检测网络的参数进行更新；其中，训练过程中输入目标检测网络中的内参为真实内参。
81.具体的，与上述实施例类似，在执行上述步骤2)之前，可以先获取样本图像以及样本图像对应的训练标注结果。其中，获取样本图像的方式有多种，例如：将采集到的图像作为样本图像；或者，接收其他设备发送的或者云端存储的样本图像等，本领域技术人员可以根据实际情况进行合适的选择。类似的，获取与样本图像对应的训练标注结果的方式也有多种，例如：对样本图像进行标注；或者，接收其他设备发送的标注数据等，本领域技术人员同样可以根据实际情况进行合适的选择。
82.与上述实施例不同的是，在上述步骤1)中，还可以获取样本图像对应的真实内参(该真实内参为修正后的内参)，本技术实施例对获取真实内参的具体实施方式同样不作具体的限定。
83.在上述步骤2)中，可以将样本图像输入3d目标检测模型中的特征提取网络，输出对应的图像特征；再将图像特征输入3d目标检测模型中的内参修正网络，输出对应的预测内参；再将真实内参以及图像特征输入3d目标检测模型中的目标检测网络，输出对应的预测检测结果；最后，基于上述预测检测结果以及样本图像对应的训练标注结果，可以对3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络的参数进行更新。
84.可以理解的是，在本技术实施例中，在训练的过程中，由于内参修正网络输出的预测内参在一开始可能达不到真实内参的效果，因此，可以将真实内参输入后续的3d目标检测网络中，从而提高训练的稳定性。
85.此外，在一种实施方式，若内参修正网络中的卷积层层数较多，由于其深度较深，因此在上述训练过程中，对特征提取网络的参数更新较少，从而可以降低训练过程中对3d目标检测网络的影响。
86.在上述方案中，利用样本图像、对应的真实内参以及对应的训练标注结果，可以对3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络进行训练，从而可以利用训练后的3d目标检测模型进行3d目标检测，得到准确性较高的目标检测结果。
87.进一步的，在上述实施例的基础上，在对3d目标检测模型进行训练后，还可以对训
练后的3d目标检测模型进行测试。其中，针对上述两种训练方式，可以采用相同的测试方式。
88.下面举例对本技术实施例提供的一种3d目标检测模型的测试方式进行介绍。训练后的3d目标检测模型可以通过如下过程进行测试：
89.步骤1)，获取测试图像以及对应的测试标注结果。
90.步骤2)，根据测试图像以及测试标注结果对训练后的特征提取网络、训练后的内参修正网络以及训练后的目标检测网络进行测试；其中，测试过程中输入训练后的目标检测网络的内参为训练后的内参修正网络输出的预测内参。
91.具体的，与上述实施例类似，在执行上述步骤2)之前，可以先获取测试图像以及测试图像对应的训练标注结果。其中，获取测试图像的方式有多种，例如：将采集到的图像作为测试图像；或者，接收其他设备发送的或者云端存储的测试图像等，本领域技术人员可以根据实际情况进行合适的选择。类似的，获取与测试图像对应的训练标注结果的方式也有多种，例如：对测试图像进行标注；或者，接收其他设备发送的标注数据等，本领域技术人员同样可以根据实际情况进行合适的选择。
92.在上述步骤2)中，可以将测试图像输入训练后的3d目标检测模型中的特征提取网络，输出对应的图像特征；再将图像特征输入训练后的3d目标检测模型中的内参修正网络，输出对应的预测内参；再将预测内参以及图像特征输入训练后的3d目标检测模型中的目标检测网络，输出对应的预测检测结果；最后，基于上述预测检测结果以及测试图像对应的测试标注结果，可以对训练后的3d目标检测模型的性能进行检测。
93.在上述方案中，在对3d目标检测模型训练完成之后，可以进一步对训练后的3d目标检测模型进行测试，以测试3d目标训练模型是否满足3d目标检测的需求，从而保证3d目标检测的准确性。
94.请参照图4，图4为本技术实施例提供的一种3d目标检测装置的结构框图，该3d目标检测装置400包括：特征提取模块401，用于对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征；修正模块402，用于根据所述图像特征确定内参扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息；目标检测模块403，用于根据所述修正内参信息以及所述图像特征进行3d目标检测。
95.在本技术实施例中，在得到图像特征之后，可以基于图像特征对图像采集装置的原始内参信息进行修正，从而使得得到的修正内参信息更适应于采集待检测图像时的场景。因此，即使由于相机扰动的问题导致了图像采集装置的原始内参信息发生了偏差，也可以通过本技术提供的3d目标检测装置400对原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
96.进一步的，所述修正模块402具体用于：对所述图像特征进行降维度处理，得到降维后的第一中间特征；对所述第一中间特征进行特征提取，得到第二中间特征；将所述第二中间特征展开并进行回归处理，得到所述内参扰动变换信息。
97.在本技术实施例中，通过对图像特征进行处理，可以得到对应的内存扰动变换信息，从而可以根据上述内参扰动变换信息对图像采集装置的原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
98.进一步的，所述内参扰动变换信息通过内参扰动矩阵表征，所述原始内参信息通过原始内参矩阵表征，所述修正内参信息通过修正内参矩阵表征；所述修正模块402具体用于：计算所述内参扰动矩阵与所述原始内参矩阵的乘积，得到所述修正内参矩阵。
99.在本技术实施例中，内参扰动变换信息可以通过内参扰动矩阵表征，原始内参信息可以通过原始内参矩阵表征，修正内参信息也可以通过修正内参矩阵表征。因此，通过矩阵乘法，可以实现对原始内参信息的修正，从而提高3d目标检测的准确性。
100.进一步的，所述目标检测模块403具体用于：根据所述修正内参信息将所述图像特征投影至3d空间中，得到对应的3d位置编码；其中，所述待检测图像中一个像素点的图像特征对应一个3d位置编码；根据所述3d位置编码以及所述图像特征进行3d目标检测。
101.在本技术实施例中，在对图像采集装置的原始内参信息进行修正，得到修正内参信息之后，可以根据上述修正内参信息以及图像特征进行3d目标检测，从而可以提高3d目标检测的准确性。
102.进一步的，所述对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征的步骤，通过3d目标检测模型中的特征提取网络执行；所述根据所述图像特征确定内参扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息的步骤，通过所述3d目标检测模型中的内参修正网络执行；所述根据所述修正内参信息以及所述图像特征进行3d目标检测的步骤，通过所述3d目标检测模型中的目标检测网络执行。
103.在本技术实施例中，本技术实施例提供的3d目标检测方法可以通过3d目标检测模型执行，其中，3d目标检测模型可以包括特征提取网络、内参修正网络以及目标检测网络。基于上述3d目标检测模型，可以对图像采集装置的原始内参信息进行修正，并利用修正后的修正内参信息进行3d目标检测，从而可以提高3d目标检测的准确性。
104.进一步的，所述内参估计模型包括：多层1
×
1卷积层。
105.在本技术实施例中，内参估计模型中的1
×
1卷积层可以在不改变图像特征维度的基础上，提取更丰富的特征；而多层1
×
1卷积层可以加深网络深度，从而降低该修正分支与检测分支的影响，提高3d目标检测的准确性。
106.进一步的，所述3d目标检测装置400还包括训练模块，所述训练模块用于通过如下过程对所述3d目标检测模型进行训练：获取样本图像、对应的真实内参以及对应的训练标注结果；根据所述样本图像、所述真实内参以及所述训练标注结果对所述特征提取网络、所述内参修正网络以及所述目标检测网络的参数进行更新；其中，训练过程中输入所述目标检测网络中的内参为所述真实内参。
107.在本技术实施例中，利用样本图像、对应的真实内参以及对应的训练标注结果，可以对3d目标检测模型中的特征提取网络、内参修正网络以及目标检测网络进行训练，从而可以利用训练后的3d目标检测模型进行3d目标检测，得到准确性较高的目标检测结果。其中，训练过程中输入目标检测网络中的内参可以为真实内参，从而提高训练的稳定性。
108.进一步的，所述3d目标检测装置400还包括测试模块，所述测试模块用于通过如下过程对训练后的3d目标检测模型进行测试：获取测试图像以及对应的测试标注结果；根据所述测试图像以及所述测试标注结果对训练后的特征提取网络、训练后的内参修正网络以及训练后的目标检测网络进行测试；其中，测试过程中输入训练后的目标检测网络的内参
为训练后的内参修正网络输出的预测内参。
109.在本技术实施例中，在对3d目标检测模型训练完成之后，可以进一步对训练后的3d目标检测模型进行测试，以测试3d目标训练模型是否满足3d目标检测的需求，从而保证3d目标检测的准确性。
110.请参照图5，图5为本技术实施例提供的一种电子设备的结构框图，该电子设备500包括：至少一个处理器501，至少一个通信接口502，至少一个存储器503和至少一个通信总线504。其中，通信总线504用于实现这些组件直接的连接通信，通信接口502用于与其他节点设备进行信令或数据的通信，存储器503存储有处理器501可执行的机器可读指令。当电子设备500运行时，处理器501与存储器503之间通过通信总线504通信，机器可读指令被处理器501调用时执行上述3d目标检测方法。
111.例如，本技术实施例的处理器501通过通信总线504从存储器503读取计算机程序并执行该计算机程序可以实现如下方法：步骤s101：对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征。步骤s102：根据图像特征确定内参扰动变换信息，并基于内参扰动变换信息对图像采集装置的原始内参信息进行修正，得到修正内参信息。步骤s103：根据修正内参信息以及图像特征进行3d目标检测。
112.其中，处理器501包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器501可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、微控制单元(micro controller unit，简称mcu)、网络处理器(network processor，简称np)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(neural-network processing unit，简称npu)、图形处理器(graphics processing unit，简称gpu)、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuits，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器501为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。
113.存储器503包括一个或多个，其可以是，但不限于，随机存取存储器(random access memory，简称ram)，只读存储器(read only memory，简称rom)，可编程只读存储器(programmable read-only memory，简称prom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，电可擦除可编程只读存储器(electric erasable programmable read-only memory，简称eeprom)等。
114.可以理解，图5所示的结构仅为示意，电子设备500还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。于本技术实施例中，电子设备500可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备500也不一定是单台设备，还可以是多台设备的组合，例如服务器集，等等。
115.本技术实施例还提供一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括计算机程序指令，当计算机程序指令被计算机执行时，计算机能够执行上述实施例中3d目标检测方法的步骤，例如包括：对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征；根据所述图像特征确定内参
扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息；根据所述修正内参信息以及所述图像特征进行3d目标检测。
116.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的3d目标检测方法。
117.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
118.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
119.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
120.需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
121.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
122.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
技术特征：
1.一种3d目标检测方法，其特征在于，包括：对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征；根据所述图像特征确定内参扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息；根据所述修正内参信息以及所述图像特征进行3d目标检测。2.根据权利要求1所述的3d目标检测方法，其特征在于，所述根据所述图像特征确定内参扰动变换信息，包括：对所述图像特征进行降维度处理，得到降维后的第一中间特征；对所述第一中间特征进行特征提取，得到第二中间特征；将所述第二中间特征展开并进行回归处理，得到所述内参扰动变换信息。3.根据权利要求1或2所述的3d目标检测方法，其特征在于，所述内参扰动变换信息通过内参扰动矩阵表征，所述原始内参信息通过原始内参矩阵表征，所述修正内参信息通过修正内参矩阵表征；所述基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息，包括：计算所述内参扰动矩阵与所述原始内参矩阵的乘积，得到所述修正内参矩阵。4.根据权利要求1-3任一项所述的3d目标检测方法，其特征在于，所述根据所述修正内参信息以及所述图像特征进行3d目标检测，包括：根据所述修正内参信息将所述图像特征投影至3d空间中，得到对应的3d位置编码；其中，所述待检测图像中一个像素点的图像特征对应一个3d位置编码；根据所述3d位置编码以及所述图像特征对所述待检测目标进行3d目标检测。5.根据权利要求1-4任一项所述的3d目标检测方法，其特征在于，所述对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征的步骤，通过3d目标检测模型中的特征提取网络执行；所述根据所述图像特征确定内参扰动变换信息，并基于所述内参扰动变换信息对所述图像采集装置的原始内参信息进行修正，得到修正内参信息的步骤，通过所述3d目标检测模型中的内参修正网络执行；所述根据所述修正内参信息以及所述图像特征进行3d目标检测的步骤，通过所述3d目标检测模型中的目标检测网络执行。6.根据权利要求5所述的3d目标检测方法，其特征在于，所述内参修正网络包括多层1
×
1卷积层。7.根据权利要求5或6所述的3d目标检测方法，其特征在于，所述3d目标检测模型通过如下过程进行训练：获取样本图像、对应的真实内参以及对应的训练标注结果；根据所述样本图像、所述真实内参以及所述训练标注结果对所述特征提取网络、所述内参修正网络以及所述目标检测网络的参数进行更新；其中，训练过程中输入所述目标检测网络中的内参为所述真实内参。8.根据权利要求7所述的3d目标检测方法，其特征在于，在所述根据所述样本图像、所
述真实内参以及所述标注结果对所述特征提取网络、所述内参修正网络以及所述目标检测网络的参数进行更新之后，训练后的3d目标检测模型通过如下过程进行测试：获取测试图像以及对应的测试标注结果；根据所述测试图像以及所述测试标注结果对训练后的特征提取网络、训练后的内参修正网络以及训练后的目标检测网络进行测试；其中，测试过程中输入训练后的目标检测网络的内参为训练后的内参修正网络输出的预测内参。9.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-8任一项所述的方法。10.一种电子设备，其特征在于，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-8任一项所述的方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-8任一项所述的方法。
技术总结
本申请提供一种3D目标检测方法、计算机程序产品及电子设备，其中，3D目标检测方法包括：对图像采集装置采集的待检测目标对应的待检测图像进行特征提取，得到对应的图像特征；根据图像特征确定内参扰动变换信息，并基于内参扰动变换信息对图像采集装置的原始内参信息进行修正，得到修正内参信息；根据修正内参信息以及图像特征进行3D目标检测。在上述方案中，即使由于相机扰动的问题导致了图像采集装置的原始内参信息发生了偏差，也可以通过本申请提供的3D目标检测方法对原始内参信息进行修正，并利用修正后的修正内参信息进行3D目标检测，从而可以提高3D目标检测的准确性。从而可以提高3D目标检测的准确性。从而可以提高3D目标检测的准确性。
