一种手术阶段识别方法、系统、介质及电子设备
1.本发明涉及一种医学图像处理方法，特别是涉及一种手术阶段识别方法、系统、介质及电子设备。
背景技术：
2.手术阶段识别旨在有效评估并在线跟踪手术进程，提高现代手术室的安全性与智能水平，且可为现代化手术培训提供解决方案。然而，现有手术阶段识别方法普遍存在识别精度较低的问题。
技术实现要素：
3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种手术阶段识别方法、系统、介质及电子设备，用于解决现有技术中手术阶段识别方法识别精度较低的问题。
4.为实现上述目的及其他相关目的，本发明的第一方面提供一种手术阶段识别方法，所述手术阶段识别方法包括：获取手术视频；获取所述手术视频在第一时刻的视频帧特征；利用手术阶段识别模型对所述第一时刻的视频帧特征、第二时刻的视频帧特征以及所述第二时刻的手术阶段进行处理，以获取所述第一时刻的手术阶段，其中，所述第二时刻在所述第一时刻之前，所述手术阶段识别模型为基于自回归transformer的机器学习模型。
5.于所述第一方面的一实施例中，所述手术阶段识别模型包括编码器和解码器，利用手术阶段识别模型对第一时刻的视频帧特征、第二时刻的视频帧特征以及所述第二时刻的手术阶段进行处理以获取所述第一时刻的手术阶段包括：将所述第一时刻的视频帧特征和所述第二时刻的视频帧特征输入所述编码器，并将所述第二时刻的手术阶段作为条件信息输入所述解码器，以获取所述第一时刻的手术阶段。
6.于所述第一方面的一实施例中，将所述第二时刻的手术阶段作为条件信息输入所述解码器包括：将所述第二时刻的手术阶段编码为与视频帧特征的维度一致的向量，并将该向量作为条件信息输入所述解码器。
7.于所述第一方面的一实施例中，所述手术阶段识别模型采用条带状掩膜来计算多头注意力中的注意力依赖关系。
8.于所述第一方面的一实施例中，所述手术阶段识别模型的训练方法包括：获取训练数据；根据所述训练数据，基于教师强制策略对所述手术阶段识别模型进行并行化训练。
9.于所述第一方面的一实施例中，所述第一时刻的手术阶段相较于之前时刻未发生转变，所述手术阶段识别方法还包括：获取所述手术视频在第三时刻的视频帧特征，所述第三时刻在所述第一时刻之后；利用所述手术阶段识别模型对所述第三时刻的视频帧特征、所述第一时刻的视频帧特征以及所述第一时刻的手术阶段进行处理，以获取所述第三时刻的手术阶段。
10.于所述第一方面的一实施例中，所述第一时刻的手术阶段相较于之前时刻发生转变，所述手术阶段识别方法还包括：获取所述手术视频在第三时刻的视频帧特征，所述第三
时刻在所述第一时刻之后；利用所述手术阶段识别模型对所述第三时刻的视频帧特征、所述第二时刻的视频帧特征以及所述第二时刻的手术阶段进行处理，以获取所述第三时刻的手术阶段；若所述第三时刻的手术阶段与所述第一时刻的手术阶段不一致，则将所述第一时刻的手术阶段修正为转变前的手术阶段。
11.本发明的第二方面提供一种手术阶段识别系统，所述手术阶段识别系统包括：手术视频获取模块，用于获取手术视频；视频帧特征获取模块，用于获取所述手术视频在第一时刻的视频帧特征；手术阶段识别模块，用于利用手术阶段识别模型对第一时刻的视频帧特征、第二时刻的视频帧特征以及所述第二时刻的手术阶段进行处理，以获取所述第一时刻的手术阶段，其中，所述第二时刻在所述第一时刻之前，所述手术阶段识别模型为基于自回归transformer的机器学习模型。
12.本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面中任一项所述的手术阶段识别方法。
13.本发明的第四方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本发明第一方面中任一项所述的手术阶段识别方法。
14.如上所述，本发明一个或多个实施例中所述的手术阶段识别方法、系统、介质及电子设备具有以下有益效果：
15.所述手术阶段识别方法利用基于自回归transformer的机器学习模型对当前时刻的视频帧特征、过去时刻的视频帧特征以及过去时刻的手术阶段进行处理，以获取当前时刻的手术阶段。该过程可以利用条件概率分布来隐式建模不同手术阶段之间的依赖关系，因而能够有效提高手术阶段在线识别的精度。
16.此外，所述手术阶段识别方法可以采用一致性约束推理策略，通过约束条件信息来进一步约束推理所得手术阶段的连续性，有利于进一步提高手术阶段识别的精度、可靠性与合理性。
17.进一步地，所述手术阶段识别方法中采用的手术阶段识别模型可以采用条带状掩膜来计算多头注意力中的注意力依赖关系，并利用教师强制策略对所述手术阶段识别模型进行并行化训练。通过此种方式能够有效提升手术阶段识别模型的处理性能。
附图说明
18.图1显示为本发明实施例中手术阶段识别方法的流程图。
19.图2显示为本发明实施例中手术阶段识别系统的训练方法流程图。
20.图3显示为本发明实施例中的相关步骤流程图。
21.图4显示为本发明实施例中的相关步骤流程图。
22.图5显示为本发明实施例中手术阶段识别系统的结构示意图。
23.图6显示为本发明实施例中电子设备的结构示意图。
24.元件标号说明
25.500
ꢀꢀꢀꢀꢀꢀꢀ
手术阶段识别系统
26.510
ꢀꢀꢀꢀꢀꢀꢀ
手术视频获取模块
27.520
ꢀꢀꢀꢀꢀꢀꢀ
视频帧特征获取模块
28.530
ꢀꢀꢀꢀꢀꢀꢀ
手术阶段识别模块
29.600
ꢀꢀꢀꢀꢀꢀꢀ
电子设备
30.610
ꢀꢀꢀꢀꢀꢀꢀ
存储器
31.620
ꢀꢀꢀꢀꢀꢀꢀ
处理器
32.630
ꢀꢀꢀꢀꢀꢀꢀ
显示器
33.s11～s13
ꢀꢀ
步骤
34.s21～s22
ꢀꢀ
步骤
35.s31～s33
ꢀꢀ
步骤
36.s41～s42
ꢀꢀ
步骤
具体实施方式
37.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
38.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
39.手术阶段识别旨在有效评估并在线跟踪手术进程，提高现代手术室的安全性与智能水平，且可为现代化手术培训提供解决方案。然而，现有手术阶段识别方法普遍存在识别精度较低的问题。
40.至少针对上述问题，本发明提供一种手术阶段识别方法。接下来将通过具体实施例结合附图的方式对该手术阶段识别方法进行介绍。
41.图1显示为本发明的一实施例中手术阶段识别方法的流程图。如图1所示，本实施例中手术阶段识别方法包括以下步骤s11至步骤s13。
42.s11，获取手术视频，该手术视频可以由图像采集设备对手术现场进行采集得到，但本发明并不以此为限。
43.s12，获取手术视频在第一时刻的视频帧特征。
44.s13，利用手术阶段识别模型对第一时刻的视频帧特征、第二时刻的视频帧特征以及第二时刻的手术阶段进行处理，以获取第一时刻的手术阶段。其中，第二时刻在第一时刻之前，例如可以为第一时刻之前的某一时间点，也可以为第一时刻之前某一时间段内的两个或多个时间点。手术阶段识别模型可以为基于自回归transformer的机器学习模型。
45.可选地，本实例提供的手术阶段在线识别方法可用于手术阶段在线识别。此时，步骤s11中实时获取图像采集设备采集到的手术视频，步骤s12中获取手术视频在当前时刻的视频帧特征，步骤s13中利用手术阶段识别模型根据当前时刻的视频帧特征、过去时刻的视
频帧特征以及过去时刻的手术阶段获取当前时刻的手术阶段。
46.由于手术阶段识别模型为基于自回归transformer的机器学习模型，因而能够利用条件概率分布来隐式建模不同手术阶段之间的依赖关系，有利于提高手术阶段在线识别的精度。
47.于本发明的一实施例中，在获取手术视频以后，所述手术阶段识别方法还可以包括以下步骤：对手术视频进行预处理。其中，对手术视频进行的预处理例如可以包括以下操作中的任意一种或多种：对手术视频按照一定帧率进行帧采样，通过形态学操作裁切掉视频帧边界上可能存在的黑无效区域，压缩视频帧的分辨率。对手术视频进行预处理能够有效减小计算量并提高模型输出的准确度。
48.于本发明的一实施例中，手术视频的视频帧特征可以通过特征提取器得到，包括空间特征和/或时间特征。其中，空间特征可以由卷积神经网络(如resnet-50等)视觉特征提取器逐帧提取得到。时间特征可以在空间特征的基础上采用其他时序建模方法(如lstm、tcn等)对手术视频时序进行建模后得到。
49.于本发明的一实施例中，手术阶段识别模型包括编码器和解码器。利用手术阶段识别模型对第一时刻的视频帧特征、第二时刻的视频帧特征以及第二时刻的手术阶段进行处理以获取第一时刻的手术阶段包括：将第一时刻的视频帧特征和第二时刻的视频帧特征输入编码器，并将第二时刻的手术阶段作为条件信息输入解码器，以获取第一时刻的手术阶段。
50.可选地，手术阶段识别模型可以采用条带状掩膜来计算多头注意力中的注意力依赖范围，以使手术阶段的决策不会受到长程过去信息与以及噪声的影响。
51.可选地，本实施例中将第二时刻的手术阶段作为条件信息输入解码器可以包括以下步骤：将第二时刻的手术阶段编码为与视频帧特征的维度一致的向量，并将该向量作为条件信息输入解码器。例如，可以将全0向量按照手术阶段的类数平均分段，并将每一段赋值为1即可得到对应手术阶段的编码表示。
52.可选地，图2显示为本实施例中手术阶段识别模型的训练方法流程图。如图2所示，本实施例中手术阶段识别模型的训练方法包括以下步骤s21和步骤s22。
53.s21，获取训练数据，该训练数据包括手术视频的视频帧特征以及对应的手术阶段化。
54.s22，根据训练数据，基于教师强制策略对手术阶段识别模型进行并行化训练。
55.可选地，本实施例中手术阶段识别模型的训练方法还可以包括：对训练数据进行数据增强，以在优先数据上提高算法的泛化性能。其中，对训练数据进行的数据增强例如随机裁切、翻转、旋转和颜抖动等。
56.本实施例中，通过基于教师强制策略对手术阶段识别模型进行并行化训练，以及通过在解码器处给入手术阶段真实标注的编码实现，能够加快模型训练和收敛，从而使得模型输出尽可能地接近真实标注。此外，得益于条带状掩膜的设计，所有时刻的视频帧特征都可以并行计算且能够保持在线特征，此种方式可以使得注意力关系更好地学习条件概率分布，隐式建模不同手术阶段之间的以来关系，有利于网络主动学习手术阶段转变的模式。
57.于本发明的一实施例中，若在第一时刻，根据手术阶段识别模型获取的第一时刻的手术阶段相较于之前时刻发生转变，也即，第一时刻预测得到的手术阶段与其之前时刻
不同，则采用一致性约束策略来减少推理过程中可能出现的手术阶段频繁跳变现象。其中，第一时刻预测得到的手术阶段与之前时刻不同，例如，第一时刻预测得到的手术阶段与第二时刻的手术阶段不同。具体地，请参阅图3，所述手术阶段识别方法还可以包括以下步骤s31至步骤s33。
58.s31，获取手术视频在第三时刻的视频帧特征，第三时刻在第一时刻之后。第三时刻可以为第一时刻的下一采样时刻，也可以为第一时刻之后一段时间内的一个或多个时刻。
59.s32，利用手术阶段识别模型对第三时刻的视频帧特征、第二时刻的视频帧特征以及第二时刻的手术阶段进行处理，以获取第三时刻的手术阶段。本实施例中可以采用与步骤s13类似的方法获取所述第三时刻的手术阶段，此处不做过多赘述。
60.s33，若第三时刻的手术阶段与第一时刻的手术阶段不一致，则将第一时刻的手术阶段修正为转变前的手术阶段；否则，不对第一时刻的手术阶段进行调整。例如，若手术阶段识别模型预测得到的第一时刻的手术阶段为a，其之前时刻，例如第二时刻，的手术阶段为b，且手术阶段识别模型预测得到的第三时刻的手术阶段为b，则将第一时刻的手术阶段修正为b。
61.可选地，若在第一时刻，根据手术阶段识别模型获取的第一时刻的手术阶段与之前时刻相同，则所述手术阶段识别方法还可以包括图4所示的步骤s41和步骤s42。
62.s41，获取手术视频在第三时刻的视频帧特征，第三时刻在第一时刻之后。第三时刻可以为第一时刻的下一采样时刻，也可以为第一时刻之后一段时间内的一个或多个时刻。
63.s42，利用手术阶段识别模型对第三时刻的视频帧特征、第一时刻的视频帧特征以及第一时刻的手术阶段进行处理，以获取第三时刻的手术阶段。本实施例中可以采用与步骤s13类似的方法获取所述第三时刻的手术阶段，此处不做过多赘述。
64.如上所述，本实施例提供了一种一致性约束策略，在第三时刻的预测手术阶段与第一时刻的预测手术阶段不一致时，对第一时刻的预测手术阶段进行修正，以避免由于困难帧或者噪声引起的手术阶段跳变。在第三时刻的预测手术阶段与第一时刻的预测手术阶段一致时，不对第一时刻的预测手术阶段进行修正。因此，本实施例提供的一致性约束策略不会影响方法的在线推理性能。
65.基于以上对手术阶段识别方法的描述，本发明还提供一种手术阶段识别系统。图5显示为本发明一实施例中手术阶段识别系统的结构示意图。如图5所示，本实施例中手术阶段识别系统500包括手术视频获取模块510、视频帧特征获取模块520以及手术阶段识别模块530。其中，手术视频获取模块510用于获取手术视频。视频帧特征获取模块520与手术视频获取模块510相连，用于获取所述手术视频在第一时刻的视频帧特征。手术阶段识别模块530与手术视频获取模块510相连，用于利用手术阶段识别模型对第一时刻的视频帧特征、第二时刻的视频帧特征以及所述第二时刻的手术阶段进行处理，以获取所述第一时刻的手术阶段，其中，所述第二时刻在所述第一时刻之前，所述手术阶段识别模型为基于自回归transformer的机器学习模型。
66.需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以
全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，手术视频获取模块510可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上手术视频获取模块510的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。
67.可选地，手术阶段识别模块530将第一时刻的视频帧特征和第二时刻的视频帧特征输入编码器，并将第二时刻的手术阶段作为条件信息输入解码器，以获取第一时刻的手术阶段。
68.可选地，手术阶段识别模块530将第二时刻的手术阶段作为条件信息输入解码器包括：将第二时刻的手术阶段编码为与视频帧特征的维度一致的向量，并将该向量作为条件信息输入解码器。
69.可选地，手术阶段识别模型采用条带状掩膜来计算多头注意力中的注意力依赖关系。
70.可选地，手术阶段识别模型的训练方法包括：获取训练数据；根据训练数据，基于教师强制策略对手术阶段识别模型进行并行化训练。
71.可选地，第一时刻的手术阶段相较于之前时刻未发生转变，手术阶段识别系统300还可用于：获取手术视频在第三时刻的视频帧特征，第三时刻在第一时刻之后；利用手术阶段识别模型对第三时刻的视频帧特征、第一时刻的视频帧特征以及第一时刻的手术阶段进行处理，以获取第三时刻的手术阶段。
72.可选地，第一时刻的手术阶段相较于之前时刻发生转变，手术阶段识别系统300还可用于：获取手术视频在第三时刻的视频帧特征，第三时刻在第一时刻之后；利用手术阶段识别模型对第三时刻的视频帧特征、第二时刻的视频帧特征以及第二时刻的手术阶段进行处理，以获取第三时刻的手术阶段；若第三时刻的手术阶段与第一时刻的手术阶段不一致，则将第一时刻的手术阶段修正为转变前的手术阶段。
73.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例中所述的手术阶段识别方法。
74.本发明中，可以采用一个或多个存储介质的任意组合。存储介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、ram、rom、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
75.本发明还提供一种电子设备。图6显示为本发明的一实施例中电子设备600的结构示意图。如图6所示，本实施例中电子设备600包括存储器610和处理器620。
76.存储器610用于存储计算机程序；优选地，存储器610包括：rom、ram、磁碟、u盘、存
储卡或者光盘等各种可以存储程序代码的介质。
77.具体地，存储器610可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)和/或高速缓存存储器。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器610可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
78.处理器620与存储器610相连，用于执行存储器610存储的计算机程序，以使电子设备600执行手术阶段识别方法。
79.可选地，处理器620可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
80.可选地，本实施例中电子设备600还可以包括显示器630。显示器630与存储器610和处理器620通信相连，用于显示手术阶段识别方法的相关gui交互界面。
81.本发明所述的手术阶段识别方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
82.本发明还提供一种手术阶段识别系统，所述手术阶段识别系统可以实现本发明所述的手术阶段识别方法，但本发明所述的手术阶段识别方法的实现装置包括但不限于本实施例列举的手术阶段识别系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
83.综上所述，本发明实施例中提供的手术阶段识别方法利用基于自回归transformer的机器学习模型对当前时刻的视频帧特征、过去时刻的视频帧特征以及过去时刻的手术阶段进行处理，以获取当前时刻的手术阶段。该过程可以利用条件概率分布来隐式建模不同手术阶段之间的依赖关系，因而能够有效提高手术阶段在线识别的精度。此外，所述手术阶段识别方法可以采用一致性约束推理策略，通过约束条件信息来进一步约束推理所得手术阶段的连续性，有利于进一步提高手术阶段识别的精度、可靠性与合理性。进一步地，所述手术阶段识别方法中采用的手术阶段识别模型可以采用条带状掩膜来计算多头注意力中的注意力依赖关系，并利用教师强制策略对所述手术阶段识别模型进行并行化训练。通过此种方式能够有效提升手术阶段识别模型的处理性能。
84.因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
85.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
