模型推理结果的解释方法、装置和存储介质与流程
1.本技术涉及人工智能技术领域，尤其涉及一种模型推理结果的解释方法、装置和存储介质。
背景技术：
2.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。也就是说，人工智能研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
3.其中，ai模型通常为黑盒模型，用户往往知其然不知其所以然，目前，相关技术在针对ai模型的推理结果进行解释时，通常时耗时大，且解释效果差，导致无法满足相关的需求。
技术实现要素：
4.有鉴于此，提出了一种模型推理结果的解释方法、装置和存储介质。
5.第一方面，本技术的实施例提供了一种模型推理结果的解释方法，该方法包括：获取至少一个第一标签，所述第一标签表示图像样本的推理结果；将所述至少一个第一标签分为至少一个簇，其中，各簇内包括所述第一标签中的至少一个，同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高；根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，其中，所述第一显著图表示各簇或簇内的各第一标签作为推理结果的依据，所述第一对比显著图表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
6.根据本技术实施例，通过获取至少一个第一标签，将所述至少一个第一标签分为至少一个簇，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，可以实现自动地确定用于对比解释的对象，无需人工选择，节省了大量的资源，且可以对所有第一标签进行对比解释，使得解释的内容更加完备，从而更有助于对推理模型进行改进调试，使得推理的结果更加精确，簇间的对比解释可以解决多主体对象解释的问题，可以应用于多标签图像的场景中，通过簇内第一标签的对比解释，且同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高，可以实现对于簇内的标签更加精细化的区别关键特征，使得对比解释的结果更具有价值，通过以对比显著图进行显示，可以实现对比解释的结果系统而简洁地进行可视化显示。
7.根据第一方面，在所述模型推理结果的解释方法的第一种可能的实现方式中，该第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，该第二对比显著
图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
8.根据本技术实施例，通过以第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据，可以实现更直观地对推理结果进行解释，并且可以使得解释内容更加丰富，有助于对推理模型进行改进调试，得到更精确的推理模型。
9.根据第一方面或第一方面的第一种可能的实现方式，在所述模型推理结果的解释方法的第二种可能的实现方式中，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，包括：消除各簇对应的第一显著图中、相对于其他簇的第一显著图的共有特征，确定各簇对应的第一显著图中、相对于其他簇的第一显著图的差异性特征，根据所述差异性特征，确定各簇对应的第一对比显著图；根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，包括：确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，在所述图像区域内，消除簇内各第一标签对应的第一显著图、相对于簇内其他第一标签的第一显著图的共有特征，确定簇内各第一标签对应的第一显著图中、相对于簇内其他第一标签的第一显著图的差异性特征，根据所述差异性特征，确定簇内各第一标签对应的第二对比显著图。
10.根据本技术实施例，通过消除共有特征，根据差异性特征确定对比显著图，可以实现对比解释结果展示对比主体和对比对象之间的精细化差异，使得解释的内容更加精准、具体，通过确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，可以使得同一簇内的标签的对比解释结果可以局限在图像中的同一块区域，使得对比解释的内容更加精准。
11.根据第一方面或第一方面的第一种或第二种可能的实现方式，在所述模型推理结果的解释方法的第三种可能的实现方式中，将所述至少一个第一标签分为至少一个簇，包括：将至少一个第二标签分为至少一个簇，所述第二标签表示所有图像样本的推理结果，各簇内包括所述第二标签中的至少一个，同一簇内的第二标签相比其他簇内的第二标签，出现在同一图像样本内的概率更高；根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇。
12.根据本技术实施例，通过将至少一个第二标签分为至少一个簇，根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇，可以实现自动地确定对比解释的对象，无需人工选择，节省了大量资源，且可以使得易混淆的标签被分为一个簇内，从而使得对比解释的结果更具有参考性、更有价值。
13.根据第一方面或第一方面的第一种或第二种或第三种可能的实现方式，在所述模型推理结果的解释方法的第四种可能的实现方式中，该方法还包括：根据所述第一对比显著图，确定所述图像样本中、像素对应的第一排序；根据所述第一排序，依次抹去所述图像样本中、预定数量的像素；根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价；和/或根据所述第二对比显著图，确定所述图像样本中、像素对应的第二排序；根据所述第二排序，依次抹去所述图像样本中、预定数量的像素；根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价。
14.根据本技术实施例，通过根据对比显著图，确定所述图像样本中、像素对应的排序，根据排序，依次抹去所述图像样本中、预定数量的像素，根据抹去像素过程中得到的至少一张图像样本，确定对比显著图对应的评价，可以实现定量的对对比解释的结果进行评价，从而可以直观的展示对比解释内容的价值。
15.根据第一方面的第四种可能的实现方式，在所述模型推理结果的解释方法的第五种可能的实现方式中，所述第一排序根据所述第一对比显著图中、各像素的亮度确定，所述第二排序根据所述第二对比显著图中、各像素的亮度确定。
16.根据本技术实施例，可以实现更精准的对对比显著图指示的对比解释结果进行评价。
17.根据第一方面的第四种或第五种可能的实现方式，在所述模型推理结果的解释方法的第六种可能的实现方式中，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的簇的第一预测概率、以及所述簇以外的其他簇的第二预测概率，所述第一预测概率表示图像样本的推理结果为对应的簇的概率，所述第二预测概率表示图像样本的推理结果为所述簇以外的其他簇的概率；根据所述第一预测概率和所述第二预测概率，确定所述第一对比显著图的评价；根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的簇内第一标签的第三预测概率、以及所述簇内第一标签以外的簇内其他第一标签的第四预测概率，所述第三预测概率表示图像样本的推理结果为对应的簇内第一标签的概率，所述第四预测概率表示图像样本的推理结果为所述簇内第一标签以外的其他第一标签的概率；根据所述第三预测概率和所述第四预测概率，确定所述第二对比显著图的评价。
18.根据本技术实施例，可以实现进行评价时，考虑到对比解释结果所展示的解释依据对对比主体的支持程度，且对对比对象的否定程度，从而可以综合度量对比解释结果的忠诚度，使得评价的结果更加精准。
19.第二方面，本技术的实施例提供了一种模型推理结果的解释装置，该装置包括：获取模块，用于获取至少一个第一标签，所述第一标签表示图像样本的推理结果；第一确定模块，用于将所述至少一个第一标签分为至少一个簇，其中，各簇内包括所述第一标签中的至少一个，同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高；第二确定模块，用于根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，其中，所述第一显著图表示各簇或簇内的各第一标签作为推理结果的依据，所述第一对比显著图表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
20.根据第二方面，在所述模型推理结果的解释装置的第一种可能的实现方式中，该第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，该第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
21.根据第二方面或第二方面的第一种可能的实现方式，在所述模型推理结果的解释装置的第二种可能的实现方式中，根据各簇对应的各第一显著图，确定各簇对应的第一对
比显著图，包括：消除各簇对应的第一显著图中、相对于其他簇的第一显著图的共有特征，确定各簇对应的第一显著图中、相对于其他簇的第一显著图的差异性特征，根据所述差异性特征，确定各簇对应的第一对比显著图；根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，包括：确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，在所述图像区域内，消除簇内各第一标签对应的第一显著图、相对于簇内其他第一标签的第一显著图的共有特征，确定簇内各第一标签对应的第一显著图中、相对于簇内其他第一标签的第一显著图的差异性特征，根据所述差异性特征，确定簇内各第一标签对应的第二对比显著图。
22.根据第二方面或第二方面的第一种或第二种可能的实现方式，在所述模型推理结果的解释装置的第三种可能的实现方式中，将所述至少一个第一标签分为至少一个簇，包括：将至少一个第二标签分为至少一个簇，所述第二标签表示所有图像样本的推理结果，各簇内包括所述第二标签中的至少一个，同一簇内的第二标签相比其他簇内的第二标签，出现在同一图像样本内的概率更高；根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇。
23.根据第二方面或第二方面的第一种或第二种或第三种可能的实现方式，在所述模型推理结果的解释装置的第四种可能的实现方式中，该装置还包括：第三确定模块，用于根据所述第一对比显著图，确定所述图像样本中、像素对应的第一排序；第一像素抹去模块，用于根据所述第一排序，依次抹去所述图像样本中、预定数量的像素；第四确定模块，用于根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价；和/或第五确定模块，用于根据所述第二对比显著图，确定所述图像样本中、像素对应的第二排序；第二像素抹去模块，用于根据所述第二排序，依次抹去所述图像样本中、预定数量的像素；第六确定模块，用于根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价。
24.根据第二方面的第四种可能的实现方式，在所述模型推理结果的解释装置的第五种可能的实现方式中，所述第一排序根据所述第一对比显著图中、各像素的亮度确定，所述第二排序根据所述第二对比显著图中、各像素的亮度确定。
25.根据第二方面的第四种或第五种可能的实现方式，在所述模型推理结果的解释装置的第六种可能的实现方式中，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的簇的第一预测概率、以及所述簇以外的其他簇的第二预测概率，所述第一预测概率表示图像样本的推理结果为对应的簇的概率，所述第二预测概率表示图像样本的推理结果为所述簇以外的其他簇的概率；根据所述第一预测概率和所述第二预测概率，确定所述第一对比显著图的评价；根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的簇内第一标签的第三预测概率、以及所述簇内第一标签以外的簇内其他第一标签的第四预测概率，所述第三预测概率表示图像样本的推理结果为对应的簇内第一标签的概率，所述第四预测概率表示图像样本的推理结果为所述簇内第一标签以外的其他第一标签的概率；根据所述第三预测概率和所述第四预测概率，确定所述第
二对比显著图的评价。
26.第三方面，本技术的实施例提供了一种模型推理结果的解释装置，该装置包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的模型推理结果的解释方法。
27.第四方面，本技术的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的模型推理结果的解释方法。
28.第五方面，本技术的实施例提供了一种终端设备，该终端设备可以执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的模型推理结果的解释方法。
29.第六方面，本技术的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中的一种或几种的模型推理结果的解释方法。
30.本技术的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
31.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本技术的示例性实施例、特征和方面，并且用于解释本技术的原理。
32.图1示出根据本技术一实施例的模型推理结果的解释方法的应用场景的示意图。
33.图2示出了根据本技术一实施例的模型推理结果的解释装置的结构图。
34.图3示出了根据本技术一实施例的模型推理结果的解释方法的对比解释阶段的流程图。
35.图4示出了根据本技术一实施例对标签进行聚类的示意图。
36.图5示出了根据本技术一实施例的层次树示意图。
37.图6示出根据本技术一实施例的确定图像样本中、标签对应的簇的示意图。
38.图7示出根据本技术一实施例的对比显著图的示意图。
39.图8示出了根据本技术一实施例的模型推理结果的解释方法的评价阶段的流程图。
40.图9示出了根据本技术一实施例的对图像样本抹去像素的示意图。
41.图10示出了根据本技术一实施例的确定对比忠诚度的示意图。
42.图11示出了根据本技术一实施例的模型推理结果的解释方法的流程图。
43.图12示出了根据本技术一实施例的模型推理结果的解释方法的流程图。
44.图13示出了根据本技术一实施例的模型推理结果的解释方法的流程图。
45.图14示出了根据本技术一实施例的模型推理结果的解释方法的流程图。
46.图15示出了根据本技术一实施例的模型推理结果的解释装置的结构图。
47.图16示出根据本技术一实施例的模型推理结果的解释装置的结构图。
48.附图标记
49.高亮区域h
具体实施方式
50.以下将参考附图详细说明本技术的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
51.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
52.另外，为了更好的说明本技术，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本技术的主旨。
53.图1示出根据本技术一实施例的模型推理结果的解释方法的应用场景的示意图。本技术实施例的模型推理结果的解释方法可以应用于数据标注系统中，如图1所示，数据标注系统可以包括解释装置和模型推理装置，其中，模型推理装置可以以深度学习模型为基础，用于对数据进行推理预测，得到数据的标注结果(即推理结果)，解释装置可用于实现本技术实施例的模型推理结果的解释方法，可以用于对数据的标注结果进行对比解释，在一种可能的实现方式中，该解释装置还可以用于对解释结果进行定量评价。数据标注系统可以与数据库进行交互，数据库中可用于存储数据，并向模型推理装置提供需要的数据。如图所示，通过数据标注系统，可以对模型推理装置中的模型进行训练，根据模型推理装置对数据的标注结果，可以对用户进行推荐服务，通过解释装置，可以使得模型推理的标注结果可解释，还可以实现解释结果可视化。
54.例如，本技术实施例可用于对图片进行标注的场景中，模型推理装置可以用于推理得到图片对应的标签，解释装置可以用于对推理出的各标签进行对比解释，如对于某一张图片，可以说明图片的标注结果为a标签而非b标签/c标签的依据，也可以说明图片的标注结果为b标签而非a标签/c标签的依据，还可以根据对比解释结果向用户展示对比显著图，使得可以对标注结果进行更直观的解释。其中，显著图可以是以特定形式，例如高亮的形式，显示图片中对于某一标签的解释结果的图像，例如显著图中的高亮区域可以表示图片的标注结果为a标签的依据，在此基础上，对比显著图可以是以特定形式，例如高亮的形式，显示图片中对于某一标签相对于其他标签的对比解释结果的依据，例如对比显著图中的高亮区域可以表示图片的标注结果为a标签而非b标签/c标签的依据。
55.通过本技术实施例，可以针对数据的标注结果为用户提供认知友好的解释，使得满足法律法规对可解释ai的要求，同时可以帮助用户理解模型，基于解释结果，用户还可以对模型推理装置中的模型进行调优，以实现更精确的推理效果。
56.需要说明的是，上述对图片进行标注的场景仅为本技术的一个示例，本技术实施例还可以用于除上述场景以外的场景中，本技术对此不作限制。
57.图2示出了根据本技术一实施例的模型推理结果的解释装置的结构图。如图2所示，该解释装置可与数据库和模型推理装置进行交互，以实现对模型推理结果的解释，其中，解释装置可包括用户界面(user interface，ui)、对比解释模块、基础解释器和评价模块，其中，基础解释器可用于对推理结果进行显著图(saliency map)解释，对比解释模块可用于根据显著图解释的结果，对推理结果进行对比解释，ui可用于根据对比解释的结果进行可视化显示，评价模块可用于对对比解释的结果进行定量评价。
58.需要说明的是，上述解释装置的结构仅为一个示例，解释装置中还可以仅包括其中的部分模块，或可以包括更多的模块，本技术对此不作限制。
59.以下结合图3-图10，以结合上述装置对图像样本的标注结果进行对比解释为例，说明本技术实施例提供的模型推理结果的解释方法的流程。
60.其中，本技术实施例的模型推理结果的解释方法的流程可包括对比解释阶段和评价阶段。
61.图3示出了根据本技术一实施例的模型推理结果的解释方法的对比解释阶段的流程图。
62.如图3所示，对比解释阶段的流程可包括：
63.步骤s301，对比解释模块基于概率共现关系对标签集中的所有标签进行聚类，得到簇分类信息。
64.其中，概率共现关系可以是标签集中、所有标签之间，在同一张图片中共同出现的概率关系，标签集可以表示数据集中、所有图像样本对应的标签(即所有图像样本的推理结果)的集合，例如，模型推理装置可以对数据集中、每个图像样本进行推理，得到对应的标签，对比解释模块可以由此确定标签集中、l*n个高概率标签。其中，l个高概率标签，可以是推理出的每个图像样本对应的标签中，预测概率最高的l个标签，或者预测概率超过阈值的标签(例如为l个)，n可以表示数据集中、图像样本的数量，对应于数据集中的n个图像样本，可以得到l*n个高概率标签。对比解释模块可以根据这l*n个标签在模型推理装置下的输出分布(即标签出现在哪些图像样本里)，对标签集中的所有标签进行聚类，即如果两个标签经常在同一图像样本内出现(或者是两个标签出现在同一图像样本内的概率较高)，则可以认为它们是难以区分的两个标签，可以被分为同一簇；如果两个标签不经常在同一图像样本内出现，则可以认为它们是容易区分的两个标签，可以被分为不同的簇中。例如，可以通过l*n个标签在模型推理装置下的输出分布，通过学习拟合等方式，确定标签集中的两个标签是否经常在同一图像样本内。
65.l的大小和用于判断是否为高概率标签的阈值可以根据需要确定，本技术对此不作限制。学习拟合的方式可以例如根据层次隐树模型(hierarchical latent tree model，hltm)对标签集中、所有标签进行学习拟合，还可以利用其他模型，本技术对此不作限制。
66.以下以图4、图5为例对s301的过程进行示意性的说明。图4示出了根据本技术一实施例对标签进行聚类的示意图。如图4(a)所示，以数据集中的图像样本的数量为9张为例，对于这9张图像样本，可以利用模型推理装置中的推理模型，分别对每张图像样本进行推理，得到对应的标签。图中以resnet50作为推理模型，推理模型还可以是别的模型，例如googlenet，本技术对此不作限制。如图4(a)，根据标签对应的预测概率从高至低的顺序列出了各图片对应的标签，对于图片1，经过推理模型得到的标签可以包括大提琴、知更鸟、小提琴(对应的预测概率依次降低，对于图片2-9同理)；对于图片2，经过推理模型得到的标签可以包括大提琴、小提琴、双簧管；对于图片3，经过推理模型得到的标签可以包括大提琴、小提琴、长袍、长号；对于图片4，经过推理模型得到的标签可以包括木吉他、电吉他；对于图片5，经过推理模型得到的标签可以包括木吉他、电吉他；对于图片6，经过推理模型得到的标签可以包括木吉他、电吉他、班卓琴；对于图片7，经过推理模型得到的标签可以包括电吉他、木吉他；对于图片8，经过推理模型得到的标签可以包括电吉他、木吉他、班卓琴；对于图
片9，经过推理模型得到的标签可以包括电吉他、木吉他。可以确定每张图像样本中、前l个高概率标签，在l设定为2的情况下，可以确定推理出的样本中的18个标签，在一种可能的实现方式中，还可以设定预测概率的概率阈值作为选择标签的条件，例如以对应的预测概率大于95％的标签作为选出的标签，本技术对此不做限制。
67.对比解释模块可以根据这18个标签在图像样本中的分布关系(即在模型推理装置下的输出分布)，对标签集中的所有标签利用hltm进行学习拟合，得到如图4(b)所示的基于概率共现关系的层次树。其中，图4(b)仅作为示例显示了标签集中的部分标签的概率共现关系，层次树中还可以包括除小提琴、大提琴、木吉他、电吉他、班卓琴以外的标签集中的其他标签，如知更鸟、长号、长袍、双簧管等等。在层次树中，同一节点下的标签可以表示高概率共现(即高概率出现在同一张图像样本内)的标签，z66、z1396、z2138、z1284可以表示隐式节点名称，可以根据层次树表示的概率共现关系进行聚类，例如选定某一层级作为分簇依据，同一父节点下的标签可以是同一簇内的标签，两个节点之间的路径越短，可以表示两个节点分别对应的标签、出现在同一张图像样本内的概率越高，由此，得到的同一簇内的标签可以是易混淆的标签。
68.其中，可以根据需要确定选择层次树中的哪一层级作为分簇依据，本技术对此不作限制。
69.例如，可以将z1396对应的标签作为一簇，则该簇内的标签可以包括大提琴、小提琴,可以表示标签“大提琴”和“小提琴”为高概率出现在同一张图像样本内的标签；以z2138对应的标签作为另一簇，则该簇内的标签可以包括电吉他、木吉他、班卓琴，可以表示标签“电吉他”、“木吉他”和“班卓琴”为高概率出现在同一张图像样本内的标签。其中，z2138还可以包括z1284和班卓琴这两个子节点，可以表示，在z2138中，标签“电吉他”和“木吉他”，相对于标签“班卓琴”，为更高概率出现在同一张图像样本内的标签。
70.以下是利用来自imagenet标签集的图像样本、利用resnet50对图像样本进行推理得到标签，并根据标签中前l*n个高概率标签在模型推理装置下的输出分布，确定标签集中所有标签对应的层次树的一个示例。图5示出了根据本技术一实施例的层次树示意图。
71.如图5所示，使用的图像样本可以来自imagenet标签集，推理模型可以是resnet50,图5中仅以大提琴、小提琴、长笛、单簧管、电吉他、木吉他、班卓琴、手风琴、低音管、萨克斯、长号、短号为例进行说明，层次树中还可以包括除此之外的imagenet标签集内的其他标签。对于如图5所示的层次树中的每一个节点，同一节点下的标签可以是高概率共现的标签，标签下方为对应的图像样本，例如，大提琴和小提琴在同一节点下，长笛和单簧管在同一节点下。
72.重新参见图3，在得到簇分类信息后，在步骤s302中，模型推理装置根据输入的图像样本，确定对应该图像样本的前k个高概率标签，对比解释模块根据簇分类信息将这k个高概率标签分为m个簇。
73.图6示出根据本技术一实施例的确定图像样本中、标签对应的簇的示意图。如图6所示，图6(a)中的图像样本可以例如图6(b)中最左侧的图片，推理模型可以是resnet50，根据推理模型的推理结果确定的前k个(k＝5)标签可以例如图6(b)中、中间图片所示的大提琴、小提琴、木吉他、五弦琴、电吉他，对比解释模块可以根据s301中得到的簇分类信息，对上述5个标签进行分簇，例如，在s301中，将大提琴、小提琴分为一簇、将吉他、五弦琴、电吉
他分为另一簇的情况下，可以根据上述5个标签和在s301中、用于分簇的标签的对应关系，在上述5个标签和在s301中、用于分簇的标签的内容相同的情况下，可以认为二者对应，例如上述5个标签中的大提琴和在s301中、用于分簇的标签中的大提琴的内容一致，可以认为二者对应，以此类推，根据s301中的分簇情况，该图像样本对应的5个标签可以分为m1和m2两个簇，m1包括大提琴和小提琴，m2包括木吉他、五弦琴和电吉他。
74.其中，可以设置k作为数量阈值、确定模型推理装置推理出的标签中，概率最高的前k个标签作为用于分簇的标签，还可以设置概率阈值，选取概率高于概率阈值的标签(例如为k个)作为用于分簇的标签，本技术对此不作限制。
75.步骤s303，基础解释器根据确定的图像样本中的k个类和m个簇分别进行显著图解释，得到对应的显著图。
76.其中，k个类可以分别对应图像样本中确定的k个标签，m个簇可以是s302中，基于k个标签确定的簇，基础解释器可以利用加权梯度的类激活映射(gradient-weighted class activation mapping，gradcam)或基于随机输入采样的解释(randomized input sampling for explanation，rise)分别对k个类和m个簇进行解释，得到k+m个显著图，对于k个类对应的显著图，每个显著图中的高亮区域解释了推理结果为什么是此类的依据，即显著图中、高亮的区域区别于其他区域，可以表示模型推理装置判断出推理结果为此类的依据，例如在类k1为大提琴的情况下，k1对应的显著图中的高亮区域解释了推理结果为什么是大提琴的依据，对于m个簇对应的显著图，每个显著图中的高亮区域解释了推理结果为什么是此簇的依据，即显著图中、高亮的区域区别于其他区域，可以表示模型推理装置判断推理结果为此簇的依据，例如在簇m1包括大提琴和小提琴，m1对应的显著图中的高亮区域解释了推理结果为什么是大提琴和小提琴的依据。
77.需要说明的是，除了gradcam和rise，还可以利用其它方法得到显著图，本技术对此不作限制。
78.步骤s304，对比解释模块根据显著图分别进行簇间对比和同簇内的类间对比，得到簇间以及同簇内类间的对比解释结果。
79.其中，可以通过消除簇间或同簇内类间的显著图中的共有特征，突出差异性特征的方式分别进行簇间对比和同簇内的类间对比，例如，可以通过下述公式(1)得到簇间的对比解释结果，通过下述公式(2)和公式(3)得到同簇内类间的对比解释结果：
[0080][0081]
其中，可以表示第i个簇对应的对比解释结果，m可以表示簇的数量，relu可以表示修正线性单元，hi可以表示第i个簇对应的显著图，hi′
可以表示第i
′
个簇对应的显著图，其中，i和i
′
分别对应m个簇中的不同的簇，hi和hi′
可以在s303中获得。其中h
i-hi′
的运算可以实现消除hi和hi′
之间的共有特征，确定hi和hi′
之间的差异性特征。
[0082][0083]
其中，可以表示第i个簇内、第j个类对应的对比解释结果，support函数可以通
过下述公式(3)获得，表示支撑函数，δ为预定参数，ji可以表示第i个簇内、类的数量，h
ij
可以表示第i个簇内、第j个类对应的显著图，h
ij
′
可以表示第i个簇内、第j
′
个类对应的显著图，其中，j和j
′
分别对应第i个簇内的不同的类，h
ij
和h
ij
′
可以在s303中获得。其中h
ij-h
ij
′
的运算可以实现消除h
ij
和h
ij
′
之间的共有特征，确定h
ij
和h
ij
′
间的差异性特征。
[0084][0085]
其中可以表示坐标为(a,b)的像素点对应的支撑函数，其中，可以表示第i个簇对应的对比解释结果对应的显著图中、坐标为(a,b)的像素点的值，通过公式(2)中以修正线性单元乘以support函数，可以使得同簇内的标签之间的对比解释结果可以局限于图像样本中的同一块区域，即可以使得局限于第i个簇对应的图像样本中的范围(图像区域)内。support函数中的预定参数δ可以用于过滤对应显著图中、像素值低于的像素。
[0086]
需要说明的是，簇间以及同簇内类间的对比解释结果还可以根据除公式(1)-公式(3)所示的方式以外的其他方式确定，本技术对此不作限制。
[0087]
步骤s305，ui根据簇间以及同簇内类间的对比解释结果，分别显示对比显著图。
[0088]
其中，可根据以公式(1)得到的计算结果确定的像素值进行显示，得到第i个簇对应的对比显著图(下文中第一对比显著图的一个示例)，可以以公式(2)得到的结果确定的像素值进行显示，得到第i个簇内、第j个类对应的对比显著图(下文中第二对比显著图的一个示例)。
[0089]
图7示出根据本技术一实施例的对比显著图的示意图。如图7所示，以图6(b)中最左侧的图片作为图像样本为例，可以得到5个标签(大提琴、小提琴、木吉他、班卓琴、电吉他)，这5个标签可以分别对应5个类，并将5个标签分为2个簇，其中，第1个簇内可以包括大提琴、小提琴，第2个簇内可以包括木吉他、班卓琴、电吉他。图7(a)和图7(b)可以表示簇间的对比解释结果，图7(a.1)、图7(a.2)、图7(b.1)、图7(b.2)、图7(b.3)可以表示同簇内、类间的对比解释结果。
[0090]
图7(a)示出了第1个簇的对比显著图，该对比显著图右半边的高亮区域h可以表示图像样本中、第1个簇对应的图像样本的范围，并且，高亮区域可以用于表示模型推理装置以大提琴、小提琴而非木吉他、班卓琴、电吉他作为推理结果的依据，即模型推理装置可以是通过高亮区域推理出图像对应的标签为大提琴、小提琴而非木吉他、班卓琴、电吉他的，从而解释了推理结果为大提琴、小提琴而非木吉他、班卓琴、电吉他的原因；图7(b)示出了第2个簇的对比显著图，该对比显著图左半边的高亮区域h可以表示图像样本中、第2个簇对应的图像样本的范围，并且，高亮区域可以用于表示模型推理装置以木吉他、班卓琴、电吉他而非大提琴、小提琴作为推理结果的依据，即模型推理装置可以是通过高亮区域推理出图像对应的标签为木吉他、班卓琴、电吉他而非大提琴、小提琴的，从而解释了推理结果为木吉他、班卓琴、电吉他而非大提琴、小提琴的原因。
[0091]
图7(a.1)示出了第1个簇内、第1类的对比显著图，该对比显著图对应的对比解释结果可以局限于图像样本中、第1个簇对应的图像样本的范围，即该对比显著图的高亮区域h可以局限于图7(a)对应的对比显著图中、右半边的高亮区域内，并且，该对比显著图的高
亮区域可以用于表示模型推理装置以大提琴而非小提琴作为推理结果的依据，即模型推理装置可以是通过高亮区域推理出图像对应的标签为大提琴而非小提琴的，从而解释了推理结果为大提琴而非小提琴的原因；图7(a.2)示出了第1个簇内、第2类的对比显著图，该对比显著图对应的对比解释结果同样可以局限于图像样本中、第1个簇对应的图像样本的范围，并且，该对比显著图的高亮区域h可以用于表示模型推理装置以小提琴而非大提琴作为推理结果的依据，从而解释了可以表示推理结果为小提琴而非大提琴的原因；图7(b.1)示出了第2个簇内、第1类的对比解释结果，该对比显著图对应的对比解释结果可以局限于图像样本中、第2个簇对应的图像样本的范围，即该对比显著图的高亮区域h可以局限于图7(b)对应的对比显著图中、左半边的高亮区域内，并且，该对比显著图的高亮区域可以用于表示模型推理装置以木吉他而非班卓琴、电吉他作为推理结果的依据，从而解释了推理结果为木吉他而非班卓琴、电吉他的原因；图7(b.2)示出了第2个簇内、第2类的对比解释结果，该对比显著图对应的对比解释结果同样可以局限于图像样本中、第2个簇对应的图像样本的范围，并且，该对比显著图的高亮区域h可以用于表示模型推理装置以班卓琴而非木吉他、电吉他作为推理结果的依据，从而解释了推理结果为班卓琴而非木吉他、电吉他的原因；图7(b.3)示出了第2个簇内、第3类的对比解释结果，该对比显著图对应的对比解释结果同样可以局限于图像样本中、第2个簇对应的图像样本的范围，并且，该对比显著图的高亮区域h可以用于表示模型推理装置以电吉他而非木吉他、班卓琴作为推理结果的依据，从而解释了推理结果为电吉他而非木吉他、班卓琴的原因。
[0092]
由此，可以更全面丰富地展示对比解释结果，且通过对比解释的方式，解释为什么是a而不是b，而非仅仅解释为什么是a，可以让用户可以更好地理解模型推理装置的推理结果，并可以根据对比解释结果对模型推理装置中的模型进行改进。
[0093]
上述对比显著图中，高亮的部分h可以表示上述对比解释结果的证据，例如通过图7(a.1)高亮的区域，可以确定推理结果为大提琴而非小提琴的依据是由于琴体下方的特征，由此可以认为模型推理装置推理的依据可能是小提琴琴体下方通常有保护垫，而大提琴琴体下方通常没有保护垫。
[0094]
图8示出了根据本技术一实施例的模型推理结果的解释方法的评价阶段的流程图。如图8所示，评价阶段的流程可包括：
[0095]
步骤s801，根据像素重要性，评价模块对对应的图像样本中的像素进行排序。
[0096]
其中，像素重要性可以根据图3中s305中的对应的对比显著图中、各像素的亮度确定，像素的亮度越高，可以表示该像素越重要。对应的对比显著图可以根据评价的对比主体和对比对象确定，如图7所示的对比显著图中，在评价模块评价的对比主体为大提琴、对比对象为同簇内的小提琴，即对应的对比解释结果解释的是为什么是大提琴而不是小提琴的情况下，评价模块的评价对象可以是“为什么是大提琴而不是小提琴”的对比解释结果，可以选择对应该对比解释结果的图7(a.1)作为对比显著图。在评价模块评价的对比主体为簇1，对比对象为簇2，即对应的对比解释结果解释的是“为什么是簇1而不是簇2”的情况下，评价模块的评价对象可以是“为什么是簇1而不是簇2”的对比解释结果，可以选择对应该对比解释结果的图7(a)作为对比显著图。
[0097]
步骤s802，根据排序的顺序，评价模块对图像样本中的像素依次抹去，直至抹去的像素数量达到预定阈值，每次抹去时，模型推理装置根据输入的抹去像素后的图像样本，分
别得到对比主体和对比对象的预测概率。
[0098]
其中，每次抹去的像素的数量可以根据需要确定，每次抹去的像素可以是根据排序确定的所有像素中、更重要的像素，可以是亮度更高的像素，抹去像素的方式可以例如将图像样本中、需要抹去的像素设置为白。
[0099]
对比主体和对比对象的预测概率可以分别表示模型推理装置推理出的推理结果中、对应对比主体和对比对象的概率。
[0100]
步骤s803，评价模块根据对比主体和对比对象的预测概率确定对应的对比解释结果的对比忠诚度。
[0101]
其中，对比忠诚度的计算方法可以如公式(4)所示：
[0102][0103]
其中，cauc可以表示对比线下面积，可以用于衡量对比忠诚度，cauc的值越小，可以表示对应的对比解释结果的对比忠诚度越高，即对比解释结果越能真实反映区分对比主体和对比对象的证据。pm(c|x
[r,n]
)可以表示抹去像素的过程中，第r次抹去像素时，对比主体对应的预测概率，pm(c|x
[r,n]
)可以表示抹去像素的过程中，第r次抹去像素时，对比对象对应的预测概率，h可以表示对比主体的对比显著图，m可以表示模型推理装置中、对应的推理模型(例如是resnet50、googlenet)。x可以表示图像样本，c可以表示对比主体，c可以表示对比对象，n可以表示抹去像素的总次数。
[0104]
图9示出了根据本技术一实施例的对图像样本抹去像素的示意图。如图9所示，图像样本可以例如图9(a)，在对比主体为大提琴、对比对象为同簇内的小提琴的情况下，对应的图像样本的对比显著图可以例如图9(b)，可以参照s801，根据对比显著图中、像素的重要性对图像样本中的像素进行排序，而后参照s802，依次抹去图像样本中的像素，图9(c.1)-图9(c.3)可以分别表示每次抹去预定数量的像素后的图像样本，每次抹去的像素的数量可以如图9(c.1)-图9(c.3)中的白区域所示。
[0105]
图10示出了根据本技术一实施例的确定对比忠诚度的示意图。如图10(a)所示，横坐标可以表示图像样本中、被抹去的像素数量占整体像素数量的百分比，纵坐标可以表示预测概率，图10(a)示出了在抹去图像样本中的像素的过程中，对比主体和对比对象的预测概率的变化。
[0106]
其中，以图9中所示的过程为例，对比主体为大提琴、对比对象为小提琴，在对图像样本依次抹去像素的过程中，对比主体(即大提琴)对应的预测概率(即p(c))下降，对比对象(即小提琴)对应的预测概率(即p(c))上升，这是因为，在抹去的像素能够真实地反映区分对比主体和对比对象的证据的情况下，在抹去像素的过程中、模型推理装置会更难区分对比主体和对比对象。
[0107]
如图10(b)，横坐标可以表示图像样本中、被抹去的像素数量占整体像素数量的百分比，纵坐标可以表示对比主体的预测概率和1与对比对象的预测概率之差的乘积(即p(c)*(1-p(c))，在被图像样本被抹去像素的过程中，对比主体和对比对象的预测概率的乘积在逐渐下降。而乘积越小，可以表示当前图像样本中、被抹去的像素越能够真实地反映区分对比主体和对比对象的证据。
[0108]
根据抹去像素的过程中确定的上述乘积，可以确定关于对比主体和对比对象的对
比解释结果的对比忠诚度。例如可以参照s803的示例计算cauc，cauc的值越小，对应的对比忠诚度越高。
[0109]
图11示出了根据本技术一实施例的模型推理结果的解释方法的流程图。该方法可通过服务器或终端设备执行，例如可通过服务器执行下述方法，并控制终端设备或显示装置显示可视化的执行结果，例如显著图，对比显著图等，如图11所示，该方法包括：
[0110]
步骤s1101，获取至少一个第一标签，所述第一标签表示图像样本的推理结果；
[0111]
步骤s1102，将所述至少一个第一标签分为至少一个簇，其中，各簇内包括所述第一标签中的至少一个，同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高；
[0112]
步骤s1103，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，其中，所述第一显著图表示各簇或簇内的各第一标签作为推理结果的依据，所述第一对比显著图表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
[0113]
根据本技术实施例，通过获取至少一个第一标签，将所述至少一个第一标签分为至少一个簇，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，可以实现自动地确定用于对比解释的对象，无需人工选择，节省了大量的资源，且可以对所有第一标签进行对比解释，使得解释的内容更加完备，从而更有助于对推理模型进行改进调试，使得推理的结果更加精确，簇间的对比解释可以解决多主体对象解释的问题，可以应用于多标签图像的场景中，通过簇内第一标签的对比解释，且同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高，可以实现对于簇内的标签更加精细化的区别关键特征，使得对比解释的结果更具有价值，通过以对比显著图进行显示，可以实现对比解释的结果系统而简洁地进行可视化显示。
[0114]
其中，第一标签可以例如图3中、步骤s302中的k个标签(也可以对应上文中的k个类)，簇可以例如s302中的m个簇，本技术对于第一标签和簇的数量不作限制，第一显著图可以例如s303中，得到的显著图，第一对比显著图和第二对比显著图s305中，得到的对比显著图。
[0115]
例如，某一图像样本对应的第一标签可以例如大提琴、小提琴、电吉他、木吉他。将所述至少一个第一标签分为至少一个簇，可以例如将大提琴、小提琴分为一簇，将电吉他、木吉他分为另一簇。根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，可以例如分别确定第一个簇和第二个簇对应的对比显著图，第一个簇对应的对比显著图可以表示大提琴、小提琴相对于电吉他、木吉他作为图像样本的推理结果的依据，第二个簇对应的对比显著图可以表示电吉他、木吉他相对于大提琴、小提琴作为图像样本的推理结果的依据。根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，可以例如在第一个簇中，分别确定大提琴、小提琴对应的对比显著图，在第二个簇中，分别确定电吉他、木吉他对应的第二对比显著图，其中，以大提琴对应的对比显著图为例，可以表示第一个簇中，大提琴相对于小提琴作为图像样本的推理结果的依据。
[0116]
步骤s1101-s1103的示例可参见图3中s302-s305。
[0117]
在一种可能的实现方式中，所述第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
[0118]
根据本技术实施例，通过以第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据，可以实现更直观地对推理结果进行解释，并且可以使得解释内容更加丰富，有助于对推理模型进行改进调试，得到更精确的推理模型。
[0119]
其中，第一对比显著图的高亮区域可以参照图7(a)、图7(b)中高亮区域的示例，第二对比显著图的高亮区域可以参照图7(a.1)、图7(a.2)、图7(b.1)、图7(b.2)、图7(b.3)中高亮区域的示例。
[0120]
在一种可能的实现方式中，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，包括：消除各簇对应的第一显著图中、相对于其他簇的第一显著图的共有特征，确定各簇对应的第一显著图中、相对于其他簇的第一显著图的差异性特征，根据所述差异性特征，确定各簇对应的第一对比显著图；根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，包括：确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，在所述图像区域内，消除簇内各第一标签对应的第一显著图、相对于簇内其他第一标签的第一显著图的共有特征，确定簇内各第一标签对应的第一显著图中、相对于簇内其他第一标签的第一显著图的差异性特征，根据所述差异性特征，确定簇内各第一标签对应的第二对比显著图。
[0121]
根据本技术实施例，通过消除共有特征，根据差异性特征确定对比显著图，可以实现对比解释结果展示对比主体和对比对象之间的精细化差异，使得解释的内容更加精准、具体，通过确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，可以使得同一簇内的标签的对比解释结果可以局限在图像中的同一块区域，使得对比解释的内容更加精准。
[0122]
其中，共有特征可以例如第一显著图中、像素亮度相同的区域，差异性特征可以例如第一显著图中、像素亮度不同的区域，消除共有特征、确定差异性特征，根据所述差异性特征，确定各簇对应的第一对比显著图，可以例如根据公式(1)所示的方式确定。确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，可以例如通过公式(3)中所示的方式确定，在所述图像区域内，消除共有特征、确定差异性特征，根据所述差异性特征，确定簇内各第一标签对应的第二对比显著图，可以例如根据公式(2)所示的方式确定
[0123]
需要说明的是，上述过程还可以是通过除公式(1)-公式(3)所示的方式以外的其他方式确定，本技术对此不作限制。
[0124]
上述过程的示例可参照图3中步骤s304的相关过程。
[0125]
图12示出了根据本技术一实施例的模型推理结果的解释方法的流程图。如图12所示，将所述至少一个第一标签分为至少一个簇，包括：
[0126]
步骤s1201，将至少一个第二标签分为至少一个簇，所述第二标签表示所有图像样本的推理结果，各簇内包括所述第二标签中的至少一个，同一簇内的第二标签相比其他簇内的第二标签，出现在同一图像样本内的概率更高；
[0127]
步骤s1202，根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇。
[0128]
根据本技术实施例，通过将至少一个第二标签分为至少一个簇，根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇，可以实现自动地确定对比解释的对象，无需人工选择，节省了大量资源，且可以使得易混淆的标签被分为一个簇内，从而使得对比解释的结果更具有参考性、更有价值。
[0129]
其中，第二标签可以例如图3中，步骤s301中的标签集中的所有标签，本技术对此不作限制。所述至少一个第一标签与所述至少一个第二标签的对应关系可以根据需要设定，例如是在第一标签和第二标签的内容相同的情况下，表示第一标签与第二标签相对应。
[0130]
例如，第二标签可以例如小提琴、大提琴、木吉他、电吉他、班卓琴，将至少一个第二标签分为至少一个簇，可以例如将小提琴、大提琴分为一簇，将木吉他、电吉他、班卓琴分为另一簇，根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇，可以例如，在第一标签包括小提琴、大提琴、木吉他、电吉他的情况下，根据上述分簇情况，将第一标签中的小提琴、大提琴分为一簇，将第一标签中的木吉他、电吉他分为另一簇。
[0131]
步骤s1201-步骤s1202的示例可参照图3中步骤s301以及图4。
[0132]
图13示出了根据本技术一实施例的模型推理结果的解释方法的流程图。如图13所示，该方法还包括：
[0133]
步骤s1301，根据所述第一对比显著图，确定所述图像样本中、像素对应的第一排序；
[0134]
步骤s1302，根据所述第一排序，依次抹去所述图像样本中、预定数量的像素；
[0135]
步骤s1303，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价；和/或
[0136]
步骤s1304，根据所述第二对比显著图，确定所述图像样本中、像素对应的第二排序；
[0137]
步骤s1305，根据所述第二排序，依次抹去所述图像样本中、预定数量的像素；
[0138]
步骤s1306，根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价。
[0139]
根据本技术实施例，通过根据对比显著图，确定所述图像样本中、像素对应的排序，根据排序，依次抹去所述图像样本中、预定数量的像素，根据抹去像素过程中得到的至少一张图像样本，确定对比显著图对应的评价，可以实现定量的对对比解释的结果进行评价，从而可以直观的展示对比解释内容的价值。
[0140]
其中，像素的数量可以根据需要确定，每次抹去的像素的数量可以相同、也可以不同，本技术对此不作限制，确定的对应的评价可以例如上文中的对比忠诚度。
[0141]
步骤s1301、s1304的示例可以参照图8中s801，步骤s1302、s1305的示例可以参照图8中s802，步骤s1303、s1306的示例可以参照图8中s803。
[0142]
在一种可能的实现方式中，所述第一排序根据所述第一对比显著图中、各像素的亮度确定，所述第二排序根据所述第二对比显著图中、各像素的亮度确定。
[0143]
根据本技术实施例，可以实现更精准的对对比显著图指示的对比解释结果进行评价。
[0144]
其中，第一排序和第二排序可以例如按像素的亮度又高到低进行排序。
[0145]
上述过程的示例可参照图8中s801的相关描述。
[0146]
图14示出了根据本技术一实施例的模型推理结果的解释方法的流程图。如图14所示，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价，包括：
[0147]
步骤s1401，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的簇的第一预测概率、以及所述簇以外的其他簇的第二预测概率，所述第一预测概率表示图像样本的推理结果为对应的簇的概率，所述第二预测概率表示图像样本的推理结果为所述簇以外的其他簇的概率；
[0148]
步骤s1402，根据所述第一预测概率和所述第二预测概率，确定所述第一对比显著图的评价；
[0149]
根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价，包括：
[0150]
步骤s1403，根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的簇内第一标签的第三预测概率、以及所述簇内第一标签以外的簇内其他第一标签的第四预测概率，所述第三预测概率表示图像样本的推理结果为对应的簇内第一标签的概率，所述第四预测概率表示图像样本的推理结果为所述簇内第一标签以外的其他第一标签的概率；
[0151]
步骤s1404，根据所述第三预测概率和所述第四预测概率，确定所述第二对比显著图的评价。
[0152]
根据本技术实施例，可以实现进行评价时，考虑到对比解释结果所展示的解释依据对对比主体的支持程度，且对对比对象的否定程度，从而可以综合度量对比解释结果的忠诚度，使得评价的结果更加精准。
[0153]
其中，第一预测概率和第三预测概率可以根据上文公式(4)中的pm(c|x
[r,n]
)确定，第二预测概率和第四预测概率可以根据上文公式(4)中的pm(c|x
[r,n]
)确定，第一预测概率、第二预测概率、第三预测概率、第四预测概率还可以根据除此之外的其他方式确定，本技术对此不作限制，根据所述第一预测概率和所述第二预测概率，确定所述第一对比显著图的评价，以及根据所述第三预测概率和所述第四预测概率，确定所述第二对比显著图的评价的方式，可以例如参照上述公式(4)，也可以根据除公式(4)之外的其他方式确定，本技术对此不作限制。
[0154]
步骤s1401-s1404的示例可参照图8中s803的相关描述。
[0155]
图15示出了根据本技术一实施例的模型推理结果的解释装置的结构图。如图15所示，该装置1500包括：
[0156]
获取模块1501，用于获取至少一个第一标签，所述第一标签表示图像样本的推理结果；
[0157]
第一确定模块1502，用于将所述至少一个第一标签分为至少一个簇，其中，各簇内包括所述第一标签中的至少一个，同一簇内的第一标签相比其他簇内的第一标签，出现在
同一图像样本内的概率更高；
[0158]
第二确定模块1503，用于根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，其中，所述第一显著图表示各簇或簇内的各第一标签作为推理结果的依据，所述第一对比显著图表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
[0159]
根据本技术实施例，通过获取至少一个第一标签，将所述至少一个第一标签分为至少一个簇，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，可以实现自动地确定用于对比解释的对象，无需人工选择，节省了大量的资源，且可以对所有第一标签进行对比解释，使得解释的内容更加完备，从而更有助于对推理模型进行改进调试，使得推理的结果更加精确，簇间的对比解释可以解决多主体对象解释的问题，可以应用于多标签图像的场景中，通过簇内第一标签的对比解释，且同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高，可以实现对于簇内的标签更加精细化的区别关键特征，使得对比解释的结果更具有价值，通过以对比显著图进行显示，可以实现对比解释的结果系统而简洁地进行可视化显示。
[0160]
在一种可能的实现方式中，该第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，该第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。
[0161]
根据本技术实施例，通过以第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据，可以实现更直观地对推理结果进行解释，并且可以使得解释内容更加丰富，有助于对推理模型进行改进调试，得到更精确的推理模型。
[0162]
在一种可能的实现方式中，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，包括：消除各簇对应的第一显著图中、相对于其他簇的第一显著图的共有特征，确定各簇对应的第一显著图中、相对于其他簇的第一显著图的差异性特征，根据所述差异性特征，确定各簇对应的第一对比显著图；根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，包括：确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，在所述图像区域内，消除簇内各第一标签对应的第一显著图、相对于簇内其他第一标签的第一显著图的共有特征，确定簇内各第一标签对应的第一显著图中、相对于簇内其他第一标签的第一显著图的差异性特征，根据所述差异性特征，确定簇内各第一标签对应的第二对比显著图。
[0163]
根据本技术实施例，通过消除共有特征，根据差异性特征确定对比显著图，可以实现对比解释结果展示对比主体和对比对象之间的精细化差异，使得解释的内容更加精准、具体，通过确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，可以使得同一簇内的标签的对比解释结果可以局限在图像中的同一块区域，使得对比解释的内容更加精准。
[0164]
在一种可能的实现方式中，将所述至少一个第一标签分为至少一个簇，包括：将至
少一个第二标签分为至少一个簇，所述第二标签表示所有图像样本的推理结果，各簇内包括所述第二标签中的至少一个，同一簇内的第二标签相比其他簇内的第二标签，出现在同一图像样本内的概率更高；根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇。
[0165]
根据本技术实施例，通过将至少一个第二标签分为至少一个簇，根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇，可以实现自动地确定对比解释的对象，无需人工选择，节省了大量资源，且可以使得易混淆的标签被分为一个簇内，从而使得对比解释的结果更具有参考性、更有价值。
[0166]
在一种可能的实现方式中，该装置还包括：第三确定模块，用于根据所述第一对比显著图，确定所述图像样本中、像素对应的第一排序；第一像素抹去模块，用于根据所述第一排序，依次抹去所述图像样本中、预定数量的像素；第四确定模块，用于根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价；和/或第五确定模块，用于根据所述第二对比显著图，确定所述图像样本中、像素对应的第二排序；第二像素抹去模块，用于根据所述第二排序，依次抹去所述图像样本中、预定数量的像素；第六确定模块，用于根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价。
[0167]
根据本技术实施例，通过根据对比显著图，确定所述图像样本中、像素对应的排序，根据排序，依次抹去所述图像样本中、预定数量的像素，根据抹去像素过程中得到的至少一张图像样本，确定对比显著图对应的评价，可以实现定量的对对比解释的结果进行评价，从而可以直观的展示对比解释内容的价值。
[0168]
在一种可能的实现方式中，所述第一排序根据所述第一对比显著图中、各像素的亮度确定，所述第二排序根据所述第二对比显著图中、各像素的亮度确定。
[0169]
根据本技术实施例，可以实现更精准的对对比显著图指示的对比解释结果进行评价。
[0170]
在一种可能的实现方式中，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的簇的第一预测概率、以及所述簇以外的其他簇的第二预测概率，所述第一预测概率表示图像样本的推理结果为对应的簇的概率，所述第二预测概率表示图像样本的推理结果为所述簇以外的其他簇的概率；根据所述第一预测概率和所述第二预测概率，确定所述第一对比显著图的评价；根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的簇内第一标签的第三预测概率、以及所述簇内第一标签以外的簇内其他第一标签的第四预测概率，所述第三预测概率表示图像样本的推理结果为对应的簇内第一标签的概率，所述第四预测概率表示图像样本的推理结果为所述簇内第一标签以外的其他第一标签的概率；根据所述第三预测概率和所述第四预测概率，确定所述第二对比显著图的评价。
[0171]
根据本技术实施例，可以实现进行评价时，考虑到对比解释结果所展示的解释依据对对比主体的支持程度，且对对比对象的否定程度，从而可以综合度量对比解释结果的
忠诚度，使得评价的结果更加精准。
[0172]
图16示出根据本技术一实施例的模型推理结果的解释装置的结构图。该解释装置可适用于图1示出的数据标注系统中，执行上述图3-图14中任一项所示出模型推理结果的解释方法。例如，该解释装置可以是服务器，也可以是可设置于该服务器内部的芯片(系统)或其他部件或组件。又例如，该解释装置也可以是上述解释装置1500。本技术实施例对此不作限定。
[0173]
如图16所示，解释装置700可以包括处理器701和收发器702。可选地，解释装置700可以包括存储器703。其中，处理器701与收发器702和存储器703耦合，如可以通过通信总线连接。
[0174]
下面结合图16对解释装置700的各个构成部件进行具体的介绍。
[0175]
上述处理器701是解释装置700的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器701是一个或多个中央处理器(central processing unit，cpu)，也可以是特定集成电路(application specific integrated circuit，asic)，或者是被配置成实施本技术实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)。
[0176]
可选地，处理器701可以通过运行或执行存储在存储器703内的软件程序，以及调用存储在存储器703内的数据，执行解释处理装置700的各种功能。
[0177]
在具体的实现中，作为一种实施例，处理器701可以包括一个或多个cpu，例如图16中所示出的cpu0和cpu1。
[0178]
在一种可能的实现方式中，解释装置700也可以包括多个处理器，例如图16中所示的处理器701和处理器704。这些处理器中的每一个可以是一个单核处理器(single-cpu)，也可以是一个多核处理器(multi-cpu)。这里的处理器可以指一个或多个通信设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
[0179]
上述收发器702，用于与其他解释装置之间的通信。例如，解释装置700为服务器，收发器702可以用于与另一服务器通信。
[0180]
可选地，收发器702可以包括接收器和发送器(图16中未单独示出)。其中，接收器用于实现接收功能，发送器用于实现发送功能。
[0181]
可选地，收发器702可以和处理器701集成在一起，也可以独立存在，并通过解释装置700的输入/输出端口(图16中未示出)与处理器701耦合，本技术实施例对此不作限定。
[0182]
上述存储器703可用于存储执行本技术方案的软件程序，并由处理器701来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。
[0183]
其中，存储器703可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储通信设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储通信设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储通信设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介
质，但不限于此。需要说明的是，存储器703可以和处理器701集成在一起，也可以独立存在，并通过解释装置700的输入/输出端口(图16中未示出)与处理器701耦合，本技术实施例对此不作限定。
[0184]
需要说明的是，图16中所示出解释装置700的结构并不构成对解释装置的实现方式的限定，实际的解释装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0185]
本技术的实施例提供了一种模型推理结果的解释装置，包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。
[0186]
本技术的实施例提供了一种终端设备，该终端设备可以执行上述方法。
[0187]
本技术的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0188]
本技术的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
[0189]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(electrically programmable read-only-memory，eprom或闪存)、静态随机存取存储器(static random-access memory，sram)、便携式压缩盘只读存储器(compact disc read-only memory，cd-rom)、数字多功能盘(digital video disc，dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0190]
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0191]
用于执行本技术操作的计算机程序指令可以是汇编指令、指令集架构(instruction set architecture，isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(local area network，lan)或广域网(wide area network，wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信
息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(field-programmable gate array，fpga)或可编程逻辑阵列(programmable logic array，pla)，该电子电路可以执行计算机可读程序指令，从而实现本技术的各个方面。
[0192]
这里参照根据本技术实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0193]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0194]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0195]
附图中的流程图和框图显示了根据本技术的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
[0196]
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或asic(application specific integrated circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
[0197]
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0198]
以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
技术特征：
1.一种模型推理结果的解释方法，其特征在于，所述方法包括：获取至少一个第一标签，所述第一标签表示图像样本的推理结果；将所述至少一个第一标签分为至少一个簇，其中，各簇内包括所述第一标签中的至少一个，同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高；根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，其中，所述第一显著图表示各簇或簇内的各第一标签作为推理结果的依据，所述第一对比显著图表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。2.根据权利要求1所述的方法，其特征在于，所述第一对比显著图的高亮区域表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图的高亮区域表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。3.根据权利要求1或2所述的方法，其特征在于，根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，包括：消除各簇对应的第一显著图中、相对于其他簇的第一显著图的共有特征，确定各簇对应的第一显著图中、相对于其他簇的第一显著图的差异性特征，根据所述差异性特征，确定各簇对应的第一对比显著图；根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，包括：确定各第一标签对应的簇的第一显著图所指示的该簇的对应的图像区域，在所述图像区域内，消除簇内各第一标签对应的第一显著图、相对于簇内其他第一标签的第一显著图的共有特征，确定簇内各第一标签对应的第一显著图中、相对于簇内其他第一标签的第一显著图的差异性特征，根据所述差异性特征，确定簇内各第一标签对应的第二对比显著图。4.根据权利要求1-3任一项所述的方法，其特征在于，将所述至少一个第一标签分为至少一个簇，包括：将至少一个第二标签分为至少一个簇，所述第二标签表示所有图像样本的推理结果，各簇内包括所述第二标签中的至少一个，同一簇内的第二标签相比其他簇内的第二标签，出现在同一图像样本内的概率更高；根据所述至少一个第一标签与所述至少一个第二标签的对应关系，将所述至少一个第一标签中、对应的所述第二标签为同一簇的第一标签分为一簇。5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：根据所述第一对比显著图，确定所述图像样本中、像素对应的第一排序；根据所述第一排序，依次抹去所述图像样本中、预定数量的像素；根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价；和/或根据所述第二对比显著图，确定所述图像样本中、像素对应的第二排序；根据所述第二排序，依次抹去所述图像样本中、预定数量的像素；根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价。
6.根据权利要求5所述的方法，其特征在于，所述第一排序根据所述第一对比显著图中、各像素的亮度确定，所述第二排序根据所述第二对比显著图中、各像素的亮度确定。7.根据权利要求5-6任一项所述的方法，其特征在于，根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第一对比显著图对应的簇的第一预测概率、以及所述簇以外的其他簇的第二预测概率，所述第一预测概率表示图像样本的推理结果为对应的簇的概率，所述第二预测概率表示图像样本的推理结果为所述簇以外的其他簇的概率；根据所述第一预测概率和所述第二预测概率，确定所述第一对比显著图的评价；根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的评价，包括：根据抹去像素过程中得到的至少一张图像样本，确定所述第二对比显著图对应的簇内第一标签的第三预测概率、以及所述簇内第一标签以外的簇内其他第一标签的第四预测概率，所述第三预测概率表示图像样本的推理结果为对应的簇内第一标签的概率，所述第四预测概率表示图像样本的推理结果为所述簇内第一标签以外的其他第一标签的概率；根据所述第三预测概率和所述第四预测概率，确定所述第二对比显著图的评价。8.一种模型推理结果的解释装置，其特征在于，所述装置包括：获取模块，用于获取至少一个第一标签，所述第一标签表示图像样本的推理结果；第一确定模块，用于将所述至少一个第一标签分为至少一个簇，其中，各簇内包括所述第一标签中的至少一个，同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高；第二确定模块，用于根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图，其中，所述第一显著图表示各簇或簇内的各第一标签作为推理结果的依据，所述第一对比显著图表示各簇相对于其他簇作为推理结果的依据，所述第二对比显著图表示簇内各第一标签相对于簇内其他第一标签作为推理结果的依据。9.一种模型推理结果的解释装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现权利要求1-7任意一项所述的方法。10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-7中任意一项所述的方法。11.一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行权利要求1-7中任意一项所述的方法。
技术总结
本申请涉及一种模型推理结果的解释方法、装置和存储介质，所述方法包括：获取至少一个第一标签；将所述至少一个第一标签分为至少一个簇，同一簇内的第一标签相比其他簇内的第一标签，出现在同一图像样本内的概率更高；根据各簇对应的各第一显著图，确定各簇对应的第一对比显著图，或者，根据各簇对应的各第一显著图和簇内的各第一标签对应的各第一显著图，确定簇内各第一标签对应的第二对比显著图。根据本申请实施例，可以实现自动地确定用于对比解释的对象，无需人工选择，减少了解释时的时耗，且可以更加精细化的区别关键特征，解释效果更佳，通过以对比显著图进行显示，可以实现对比解释的结果系统而简洁地进行可视化显示。解释的结果系统而简洁地进行可视化显示。解释的结果系统而简洁地进行可视化显示。
