一种多目标检测方法、装置、设备及介质与流程
1.本发明涉及计算机视觉技术领域，尤其涉及一种多目标检测方法、装置、设备及介质。
背景技术：
2.随着近年来人工智能的不断发展，深度神经网络在计算机视觉领域得到了广泛应用，例如，在自动驾驶领域，基于深度神经网络的目标检测可检测本车周围的车辆、行人或交通标志等目标。由于目标的检测精度关乎自动驾驶的安全，因此，对目标的检测精度需要有较高的要求。
3.由于目标的特征比较多样化，尤其是行人检测，需要考虑到行人的不同姿态及不同衣着。目前基于深度神经网络的目标检测模型都是基于大规模的标注数据并选择合适的网络模型进行训练的，以便其检测模型能覆盖不同场景以及提取出不同目标的多样化特征。
4.但是，大量的数据标注不但会提高目标检测的成本，当存在多目标时，标注结果的质量也会对最终检测结果的准确率造成影响，因此，如何能够快速且准确地识别出待检测图像中的多个目标，提高多目标检测的准确率及效率，是目前亟待解决的问题。
技术实现要素：
5.本发明提供了一种多目标检测方法、装置、设备及介质，可以解决多目标检测的准确率及效率较低的问题。
6.根据本发明的一方面，提供了一种多目标检测方法，包括：获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。
7.根据本发明的另一方面，提供了一种多目标检测装置，包括：图像输入模块，用于获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；特征信息生成模块，用于通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；
检测结果生成模块，用于通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。
8.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的多目标检测方法。
9.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多目标检测方法。
10.本发明实施例的技术方案，通过将获取的待检测图像输入至包括基础网络和分别与基础网络相连的多个类别检测分支网络的多任务检测模型中，通过基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各类别检测分支网络，最终，通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果，解决了多目标检测的准确率及效率较低的问题，能够快速且准确地识别出待检测图像中的多个目标，提高了多目标检测的准确率及效率。
11.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是根据本发明实施例一提供的一种多目标检测方法的流程图；图2是根据本发明实施例一提供的一种全类别标注样本的示意图；图3是根据本发明实施例一提供的一种单类别标注样本的示意图；图4是根据本发明实施例二提供的一种多目标检测方法的流程图；图5是根据本发明实施例二提供的一种检测精度与初始数据集中数据量的对应关系示意图；图6是根据本发明实施例二提供的一种多任务检测模型的结构示意图；图7是根据本发明实施例三提供的一种多目标检测装置的结构示意图；图8是实现本发明实施例的多目标检测方法的电子设备的结构示意图。
具体实施方式
14.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
15.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”、“初始”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
16.实施例一图1为本发明实施例一提供了一种多目标检测方法的流程图，本实施例可适用于对图像中的多个目标进行识别及类别检测的情况，该方法可以由多目标检测装置来执行，该多目标检测装置可以采用硬件和/或软件的形式实现，该多目标检测装置可配置于电子设备中。如图1所示，该方法包括：s110、获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到。
17.其中，基础网络用于提取待检测图像中各目标的图像特征信息。类别检测分支网络主要用于组合和融合图像不同层的特征以及用于对图像特征进行预测，生成对应类别检测分支网络所检测类别的目标边界框以及类别。
18.其中，多任务检测模型可以指经过训练后的类别检测模型。全类别标注样本可以指对图像中包含的全部目标进行标注后得到的样本。如图2所示为全类别标注样本的示意图。其中，虚线为目标物的边界，梯形、三角形及圆形分别可以代表不同类别的目标。实线为标注目标框。第一类别、第二类别和第三类别可以对应目标所属类别。示例性的，一张图片中包含三个类别的目标，将三个类别的目标全部进行标注后则得到全类别标注样本。
19.其中，单类别标注样本可以指将图像中的单个类别的目标进行标注后得到的样本。如图3所示为单类别标注样本的示意图。示例性的，一张图片中包含三个类别的目标，将单独一种类别，如第一类别的目标进行标注后则得到单类别标注样本。
20.其中，待检测图像可以指需要进行类别检测的图像。通常，待检测图像中可以包含至少一个待识别目标。
21.s120、通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络。
22.其中，图像特征信息可以指同一图像中各个类别目标在不同维度的特征信息。通常，图像特征信息可以按照矩阵的形式输出。
23.s130、通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。
24.其中，检测类别可以指类别检测分支网络对应识别的类别。示例性的，可以为行人、车辆或建筑物；也可以为行人的不同姿态或衣着等。目标检测结果可以指对待检测图像
中各目标的类别检测结果以及各目标的位置边框。
25.值得注意的是，通常基础网络可以将待检测图像对应的图像特征信息传输至各类别检测分支网络，但是，各类别检测分支网络会对应选择自身匹配的图像特征信息，进而，生成与所检测类别对应的目标检测结果。
26.本发明实施例的技术方案，通过将获取的待检测图像输入至包括基础网络和分别与基础网络相连的多个类别检测分支网络的多任务检测模型中，通过基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各类别检测分支网络，最终，通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果，解决了多目标检测的准确率及效率较低的问题，能够快速且准确地识别出待检测图像中的多个目标，提高了多目标检测的准确率及效率。
27.实施例二图4为本发明实施例二提供的一种多目标检测方法的流程图，本实施例以上述实施例为基础进行追加，在本实施例中具体是对将待检测图像输入至多任务检测模型中之前的操作进行追加，具体可以包括：根据目标检测任务中的任务数量构建预设任务检测模型；其中，预设任务检测模型包括基础网络以及与任务数量对应的类别检测分支网络；将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型；利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型。如图4所示，该方法包括：s210、根据目标检测任务中的任务数量构建预设任务检测模型；其中，预设任务检测模型包括初始基础网络以及与任务数量对应的初始类别检测分支网络。
28.其中，预设任务检测模型可以指预先建立的多任务检测模型，即未经训练的多任务检测模型。
29.其中，任务数量可以指类别检测任务中包含的类别数量。初始基础网络可以指未经训练的基础网络。初始类别检测分支网络可以指未经训练的类别检测分支网络。
30.值得注意的是，各个初始类别检测分支网络的结构可以为一致的，但由于各初始类别检测分支网络所检测类别不同，各个初始类别检测分支网络的参数并不一致。
31.s220、将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型。
32.其中，基础数据集可以指用于对预设任务检测模型进行初步训练的，包含全类别标注样本的数据集。整体损失函数可以指根据整体初始类别检测分支网络构建的损失函数。示例性的，可以为根据所有初始类别检测分支网络的损失函数构建的损失函数。基础多任务检测模型可以指经过初步训练后得到的多任务检测模型。
33.在一个可选的实施方式中，采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型，可以包括：获取预设任务检测模型中各初始类别检测分支网络的损失函数及对应权重，并依据各初始类别检测分支网络的损失函数及对应权重构建整体损失函数；依据所述整体损失函数训练预设任务检测模型中的初始基础网络以及与任务数量对应的初始类别检测分支网络，得到包含基础网络和中间类别检测分支网络的基础多任务检测模型。
34.其中，中间类别检测分支网络可以指经过初步训练后得到的类别检测分支网络。
具体的，可以根据各初始类别检测分支网络的损失函数及对应权重的逻辑运算结果得到整体损失函数，如，初始类别检测分支网络b的损失函数为l1，损失函数对应权重为λ1；初始类别检测分支网络c输出的损失函数为l2，损失函数对应权重为λ2，初始类别检测分支网络d输出的损失函数为l3,对应权重损失函数为λ3，则整体损失函数可以设置为；进而，依据整体损失函数对预设任务检测模型进行训练，从而得到初步训练后的稳定的基础多任务检测模型，为后续的进一步训练提供有效的基础。
35.在一个可选的实施方式中，在所述将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型之前，还包括：将包含全类别标注样本的初始数据集输入至预设任务检测模型中，获取预设任务检测模型中各初始类别检测分支网络的检测精度；根据逐步递增初始数据集中数据量的方式，获取预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度时的基础数据集。
36.其中，检测精度可以指对各个初始类别检测分支网络检测结果的准确率进行判别的数值。目标精度可以指对各初始类别检测分支网络的检测精度进行评估的数值。示例性的，可以将预先设定的精度阈值作为目标精度，也可以将检测精度处于收敛条件下的精度数值作为目标精度。
37.在一个可选的实施方式，根据逐步递增初始数据集中数据量的方式，获取预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度时的基础数据集，包括：当预设任务检测模型中至少一个初始类别检测分支网络的检测精度不满足目标精度时，将初始数据集中的数据量进行扩增，并执行将初始数据集输入至预设任务检测模型中，获取预设任务检测模型中各初始类别检测分支网络的检测精度的操作；直至预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度，将当前初始数据集作为基础数据集。
38.如图5所示为检测精度与初始数据集中数据量的对应关系示意图。具体的，首先选取一定数量，如数量为k1的初始数据集，依据初始数据集训练预设任务检测模型，得出各个初始类别检测分支网络的检测精度p1；进而，在k1的基础上将初始数据集的数据量增加到k2，并再次训练预设任务检测模型，得出各个初始类别检测分支网络的检测精度p2；以此类推，直至各个初始类别检测分支网络的检测精度pn不再增加，将pn对应的当前初始数据集作为基础数据集。由此，可以得到令多任务检测模型稳定的数据集，为后续生成稳定的基础多任务检测模型提供有效的基础。
39.s230、利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型。
40.其中，目标单类别标注样本可以指与目标类别检测分支网络所检测类别对应的样本。目标类别检测分支网络可以指在基础多任务检测模型中选定的初步训练的类别检测分支网络。
41.在传统的多任务检测模型的训练过程中，若要增加某类别，如第一类别的正样本数量，由于传统的多任务检测模型训练过程中要更新所有类别的类别检测分支网络，若仅对单独一个类别，如第一类别的样本进行增加，不对其他类别，如第二类别和第三类别的样
本进行增加，会使得增加的第一类别的正样本成为第二类别和第三类别的负样本，影响第二类别和第三类别检测的召回，因此，需要同时将其他类别的目标物进行标注，但是，对所有类别的样本同时进行增加将会极大地提升标注成本。因此，本发明实施例中使用单类别标注样本训练基础多任务检测模型中的类别检测分支网络时，在训练过程中只需标注类别检测分支网络对应的所检测类别，如要更新第一类别的类别检测分支网络，只需标注第一类别目标物，无需再费时标注第二类别目标物或第三类别目标物，即节省了标注时间又提高了标注质量。
42.在一个可选的实施方式中，利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型，包括：获取基础多任务检测模型中的任一中间类别检测分支网络，作为目标类别检测分支网络；固定基础多任务检测模型中基础网络及设定条件下的中间类别检测分支网络的参数，利用目标单类别标注样本对基础多任务检测模型中的目标类别检测分支网络进行参数调整，得到多任务检测模型。
43.其中，目标类别检测分支网络可以指从中间类别检测分支网络中选择的类别检测分支网络。设定条件可以指对中间类别检测分支网络进行筛选的条件。示例性的，可以为除目标类别检测分支网络外的其余中间类别检测分支网络。
44.示例性的，以中间类别检测分支网络为b、c、d，基础网络为a为例，当选定中间类别检测分支网络b为目标类别检测分支网络时，固定基础网络a、中间类别检测分支网络为c和d的参数，生成损失函数。具体的，若中间类别检测分支网络b输出的损失函数为l1，损失函数对应权重为λ1；中间类别检测分支网络c输出的损失函数为l2，损失函数对应权重为λ2；中间类别检测分支网络d输出的损失函数为l3，对应权重损失函数为λ3；则目标类别检测分支网络b所对应的损失函数即可以为。同理，当选定中间类别检测分支网络c为目标类别检测分支网络时，目标类别检测分支网络c所对应的损失函数即可以为。当选定中间类别检测分支网络d为目标类别检测分支网络时，目标类别检测分支网络d所对应的损失函数可以为。由此，在基础多任务检测模型的基础上将中间类别检测分支网络的各个检测任务独立化，可以提高模型的训练速度。
45.值得注意的是，上述对基础多任务检测模型中的目标类别检测分支网络进行参数调整，可以并行进行，即，可以并行获取基础多任务检测模型中的任一中间类别检测分支网络，作为目标类别检测分支网络，进而，固定基础多任务检测模型中基础网络及设定条件下的中间类别检测分支网络的参数，利用目标单类别标注样本对基础多任务检测模型中的目标类别检测分支网络进行参数调整，得到多任务检测模型，由此，可以大大地缩短多任务检测模型的开发周期。
46.s240、获取自动驾驶车辆实时采集的车辆环境图像，作为待检测图像。
47.其中，车辆环境图像可以指自动驾驶车辆周围环境的图像。示例性的，可以根据自动驾驶车辆自身的摄像装置实时获取车辆环境图像。
48.s250、将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本
训练得到。
49.s260、通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络。
50.s270、通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。
51.s280、根据各类别检测分支网络分别输出的目标检测结果，生成自动驾驶决策信息，并按照所述自动驾驶决策信息控制自动驾驶的运行。
52.其中，自动驾驶决策信息可以指对自动驾驶车辆的运行状态进行决策的信息。示例性的，可以为加速或减速等。
53.具体的，当目标检测结果中包含行人或障碍物时，则可以生成包含减速的自动驾驶决策信息，进而控制自动驾驶的减速。
54.本发明实施例的技术方案，通过根据目标检测任务中的任务数量构建预设任务检测模型，进而，将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练预设任务检测模型，得到基础多任务检测模型，进一步的，利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型；之后，获取自动驾驶车辆实时采集的车辆环境图像，作为待检测图像，并将获取的待检测图像输入至多任务检测模型中，通过基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各类别检测分支网络，最终，通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果，根据各类别检测分支网络分别输出的目标检测结果，生成自动驾驶决策信息，并按照自动驾驶决策信息控制自动驾驶的运行，解决了多目标检测的准确率及效率较低的问题，能够快速且准确地识别出待检测图像中的多个目标，提高了多目标检测的准确率及效率。
55.如图6所示为一种多任务检测模型的结构示意图。具体的，以任务数量为三为例，构建包含一个初始基础网络及三个初始类别检测分支网络，如第一类别初始检测分支网络、第二类别初始检测分支网络和第三类别初始检测分支网络的预设任务检测模型，之后，将包含全类别标注样本的基础数据集输入至预设任务检测模型中对预设任务检测模型进行训练得到包含基础网和中间类别检测分支网络的基础多任务检测模型，进而，再将目标单类别标注样本输入至基础多任务检测模型中，通过将基础多任务检测模型中的中间类别检测分支网络进行训练，得到第一类别检测分支网络、第二类别检测分支网络和第三类别检测分支网络，进而得到包含基础网络、第一类别检测分支网络、第二类别检测分支网络和第三类别检测分支网络的多任务检测模型。当有待检测图像输入至多任务检测模型中时，通过多任务检测模型中的基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各类别检测分支网络，各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的类别结果及目标位置。具体的，第一类别检测分支网络接收第一类别匹配的图像特征信息，并将第一类别匹配的图像特征信息进行组合和融合，生成第一类别的目标边框及类别；第二类别检测分支网络接收第二类别匹配的图像特征信息，并将第二类别匹配的图像特征信息进行组合和融合，生成第二类别的目标边框及类别；第三类别检测分支网络接收第三类别匹配的图像特征信息，并将第三类别匹配的图像特征信息进行组合和融合，生成第三类别的目标边框及类别。
56.实施例三图7为本发明实施例三提供的一种多目标检测装置的结构示意图。如图7所示，该装置包括：图像输入模块310、特征信息生成模块320及检测结果生成模块330；其中，图像输入模块310，用于获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；特征信息生成模块320，用于通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；检测结果生成模块330，用于通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。
57.本发明实施例的技术方案，通过将获取的待检测图像输入至包括基础网络和分别与基础网络相连的多个类别检测分支网络的多任务检测模型中，通过基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各类别检测分支网络，最终，通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果，解决了多目标检测的准确率及效率较低的问题，能够快速且准确地识别出待检测图像中的多个目标，提高了多目标检测的准确率及效率。
58.可选的，图像输入模块310，具体可以用于：获取自动驾驶车辆实时采集的车辆环境图像，作为待检测图像；多目标检测装置还可以包括：决策信息生成模块，用于在通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果之后，根据各类别检测分支网络分别输出的目标检测结果，生成自动驾驶决策信息，并按照所述自动驾驶决策信息控制自动驾驶的运行。
59.可选的，多目标检测装置还可以包括：模型训练模块，包括模型构建单元、第一训练单元和第二训练单元；其中，模型构建单元用于在将待检测图像输入至多任务检测模型中之前，根据目标检测任务中的任务数量构建预设任务检测模型；其中，预设任务检测模型包括初始基础网络以及与任务数量对应的初始类别检测分支网络；第一训练单元，用于将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型；第二训练单元，用于利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型。
60.可选的，多目标检测装置还可以包括：基础数据集构建模块，用于在所述将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型之前，将包含全类别标注样本的初始数据集输入至预设任务检测模型中，获取预设任务检测模型中各初始类别检测分支网络的检测精度；根据逐步递增初始数据集中数据量的方式，获取预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度时的基础数据集。
61.可选的，基础数据集构建模块，具体可以用于：当预设任务检测模型中至少一个初始类别检测分支网络的检测精度不满足目标精度时，将初始数据集中的数据量进行扩增，并执行将初始数据集输入至预设任务检测模型中，获取预设任务检测模型中各初始类别检测分支网络的检测精度的操作；直至预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度，将当前初始数据集作为基础数据集。
62.可选的，第一训练单元，具体可以用于：获取预设任务检测模型中各初始类别检测分支网络的损失函数及对应权重，并依据各初始类别检测分支网络的损失函数及对应权重构建整体损失函数；依据所述整体损失函数训练预设任务检测模型中的初始基础网络以及与任务数量对应的初始类别检测分支网络，得到包含基础网络和中间类别检测分支网络的基础多任务检测模型。
63.可选的，第二训练单元，具体可以用于：获取基础多任务检测模型中的任一中间类别检测分支网络，作为目标类别检测分支网络；固定基础多任务检测模型中基础网络及设定条件下的中间类别检测分支网络的参数，利用目标单类别标注样本对基础多任务检测模型中的目标类别检测分支网络进行参数调整，得到多任务检测模型。
64.本发明实施例所提供的多目标检测装置可执行本发明任意实施例所提供的多目标检测方法，具备执行方法相应的功能模块和有益效果。
65.实施例四图8示出了可以用来实施本发明的实施例的电子设备410的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
66.如图8所示，电子设备410包括至少一个处理器420，以及与至少一个处理器420通信连接的存储器，如只读存储器（rom）430、随机访问存储器（ram）440等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器420可以根据存储在只读存储器（rom）430中的计算机程序或者从存储单元490加载到随机访问存储器（ram）440中的计算机程序，来执行各种适当的动作和处理。在ram 440中，还可存储电子设备410操作所需的各种程序和数据。处理器420、rom 430以及ram440通过总线450彼此相连。输入/输出（i/o）接口460也连接至总线450。
67.电子设备410中的多个部件连接至i/o接口460，包括：输入单元470，例如键盘、鼠标等；输出单元480，例如各种类型的显示器、扬声器等；存储单元490，例如磁盘、光盘等；以及通信单元4100，例如网卡、调制解调器、无线通信收发机等。通信单元4100允许电子设备410通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
68.处理器420可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器420的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器420执行上文所描述的各个方法和处理，例如多目标检测方法。
69.该方法包括：获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。
70.在一些实施例中，多目标检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元490。在一些实施例中，计算机程序的部分或者全部可以经由rom 430和/或通信单元4100而被载入和/或安装到电子设备410上。当计算机程序加载到ram 440并由处理器420执行时，可以执行上文描述的多目标检测方法的一个或多个步骤。备选地，在其他实施例中，处理器420可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行多目标检测方法。
71.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
72.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
73.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
74.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装
置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
75.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
76.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
77.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
78.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
技术特征：
1.一种多目标检测方法，其特征在于，包括：获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。2.根据权利要求1所述的方法，其特征在于，获取待检测图像包括：获取自动驾驶车辆实时采集的车辆环境图像，作为待检测图像；在通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果之后，还包括：根据各类别检测分支网络分别输出的目标检测结果，生成自动驾驶决策信息，并按照所述自动驾驶决策信息控制自动驾驶的运行。3.根据权利要求1所述的方法，其特征在于，在将待检测图像输入至多任务检测模型中之前，还包括：根据目标检测任务中的任务数量构建预设任务检测模型；其中，预设任务检测模型包括初始基础网络以及与任务数量对应的初始类别检测分支网络；将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型；利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型。4.根据权利要求3所述的方法，其特征在于，在所述将包含全类别标注样本的基础数据集输入至预设任务检测模型，并采用整体损失函数训练所述预设任务检测模型，得到基础多任务检测模型之前，还包括：将包含全类别标注样本的初始数据集输入至预设任务检测模型中，获取预设任务检测模型中各初始类别检测分支网络的检测精度；根据逐步递增初始数据集中数据量的方式，获取预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度时的基础数据集。5.根据权利要求4所述的方法，其特征在于，所述根据逐步递增初始数据集中数据量的方式，获取预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度时的基础数据集，包括：当预设任务检测模型中至少一个初始类别检测分支网络的检测精度不满足目标精度时，将初始数据集中的数据量进行扩增，并执行将初始数据集输入至预设任务检测模型中，获取预设任务检测模型中各初始类别检测分支网络的检测精度的操作；直至预设任务检测模型中各初始类别检测分支网络的检测精度均满足目标精度，将当前初始数据集作为基础数据集。6.根据权利要求3所述的方法，其特征在于，所述采用整体损失函数训练所述预设任务
检测模型，得到基础多任务检测模型，包括：获取预设任务检测模型中各初始类别检测分支网络的损失函数及对应权重，并依据各初始类别检测分支网络的损失函数及对应权重构建整体损失函数；依据所述整体损失函数训练预设任务检测模型中的初始基础网络以及与任务数量对应的初始类别检测分支网络，得到包含基础网络和中间类别检测分支网络的基础多任务检测模型。7.根据权利要求3所述的方法，其特征在于，所述利用目标单类别标注样本训练基础多任务检测模型中的目标类别检测分支网络，得到多任务检测模型，包括：获取基础多任务检测模型中的任一中间类别检测分支网络，作为目标类别检测分支网络；固定基础多任务检测模型中基础网络及设定条件下的中间类别检测分支网络的参数，利用目标单类别标注样本对基础多任务检测模型中的目标类别检测分支网络进行参数调整，得到多任务检测模型。8.一种多目标检测装置，其特征在于，包括：图像输入模块，用于获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；特征信息生成模块，用于通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；检测结果生成模块，用于通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的多目标检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的多目标检测方法。
技术总结
本发明公开了一种多目标检测方法、装置、设备及介质。该方法包括：获取待检测图像，并将待检测图像输入至多任务检测模型中；其中，多任务检测模型包括基础网络和分别与基础网络相连的多个类别检测分支网络，类别检测分支网络用于检测设定类别的目标；基础网络使用全类别标注样本训练得到，类别检测分支网络使用单类别标注样本训练得到；通过所述基础网络生成与待检测图像对应的图像特征信息，并将图像特征信息分别输入至各所述类别检测分支网络；通过各类别检测分支网络根据接收的图像特征信息，生成与所检测类别对应的目标检测结果。通过本发明的技术方案，能够快速且准确地识别出待检测图像中的目标，提高了多目标检测的准确率及效率。率及效率。率及效率。
