一种基于自监督学习的脑电信号在线自适应分类方法
1.本发明属于信号处理技术领域，具体涉及一种基于自监督学习的脑电信号在线自适应分类方法。
背景技术：
2.脑机接口(bci)系统在人脑和外部设备之间建立无创连接，以实现信息交换。基于脑电信号的脑机接口系统首先被开发出来，通过将心理意图转化为控制命令来帮助患者实现沟通、运动和康复。作为研究大脑的技术手段之一，脑电信号也常被用作神经科学研究。研究人员利用脑电信号无偏测量个人的疲劳和情绪水平，开发出认知、情感检测等应用。近年来，越来越多的基于脑电的脑机接口系统旨在通过实现人类与计算机的交互，来增强健康用户的工作能力和工作效率。目前的脑机接口系统中，用户的大脑活动通常使用脑电图(electroencephalogram，eeg)信号进行监测，该信号从用户的头皮上记录。
3.目前，快速序列视觉呈现(rapid serial visual presentation，rsvp，也称快速串行视觉呈现)作为一种人类增强的实验范式，受到了研究人员的广泛关注。这种实验范式最常用于反情报、安全和医疗等领域，因为这些领域中需要专业人员审查大量图像或信息，而通过使用快速序列视觉呈现范式、基于脑电的脑机接口系统进行脑电信号的分类，可以比手动分析更快地检测和识别对象以及相关信息片段，这大大提高了专业人员的工作效率。通常，快速序列视觉呈现范式以5
–
20hz的频率顺序显示图像，其中非目标图像与目标图像的比率约为10:1。这有助于在eeg信号中诱导事件相关电位(erp)成分，该成分与大脑的注意机制和记忆处理有关。近年来，研究人员一直致力于提高rsvp范式中脑电信号的分类性能。
4.现有的脑电信号分类方法中，基于传统机器学习的方法通常采用手工特征，如时域的统计特征、频域的频带功率和时频域的离散小波变换特征。随后这些特征被送入线性判别分析(lda)或fisher线性判别分析(fld)算法进行分类。例如，blankertz等人提出了正则化线性判别分析算法(rlda)，以准确估计高维空间中的协方差矩阵。该方法使用收缩估计量形成线性判别分析的正则化版本，其性能优于其它基于线性判别分析的方法。parra等人提出了一种层次判别成分分析算法(hdca)，它首先采用fld训练空间权重，然后训练逻辑回归分类器学习时间权重并实现分类。xiao等人开发了一种称为标准模式匹配的算法。该算法构造判别性空间模式和典型相关分析模式，然后将这两种模式进行匹配，形成鲁棒分类器。
5.而值得注意的是，最近发展起来的深度学习方法在脑电信号分类领域正占据主导地位。与依赖专家级经验和先验领域知识提取特征信息的传统研究不同，深度学习可以从大脑活动中自动提取判别性特征。例如，schirrmeisteret等人首先提出了一种称为deepconvnet的端到端深度网络，用于eeg解码任务。该模型从原始eeg中解码任务相关信息，无需手工制作特征，突出了深层卷积神经网络与脑映射高级可视化技术相结合的潜力。lawhern等人提出了一种称为eegnet的紧凑型神经网络，并在各种eeg分类任务中取得了不
错的性能。其使用了深度卷积和可分离卷积来构建特定于脑电图网络，其网络封装了多个脑电特征提取概念，如最优空间滤波和滤波器组构造。v
′
azquez等人提出了eeg-inception，该方法首先集成inception模块，以不同的时间尺度，高效提取时间特征，用于erp分类。考虑到事件相关电位(erp)成分的锁相特性，zang等人提出plnet来学习相位信息，以提高脑电信号的分类性能。
6.然而，脑电信号在现实中往往是非平稳的，在两次实验之间，它们的数据分布往往会随着时间的推移而发生变化。脑电信号的非平稳性可能由各种事件引起，例如用户注意力水平的变化、电极放置或用户疲劳。神经科学研究表明，脑电信号非平稳性的根本原因不仅与外界刺激对大脑机制的影响有关，还与神经组件认知任务相关固有亚稳态的转换有关。因而在实际的脑电图应用中，非平稳的脑电信号会导致训练数据和测试数据之间的分布随时间发生变化，这在很大程度上限制了rsvp范式下脑电分类的性能。
7.但现有的脑电信号分类方法大多并没有考虑分布偏移问题，均假设脑电数据在训练数据和测试数据之间的分布不发生变化。针对分布偏移问题，对抗鲁棒性和领域自适应是鲜有的几种解决方案，它们试图通过拓扑结构或测试分布数据预测训练和测试分布之间的差异。然而，由于没有引入测试数据，对抗鲁棒性很难准确地预测测试分布。对于领域自适应，由于越来越多的隐私问题、不断膨胀的数据集以及许多其他现实世界的限制，在测试时重新访问训练数据可能是不切实际的。
8.因此，如何解决分布偏移问题，提高快速序列视觉呈现范式中脑电信号的分类性能，是本领域内一个亟待解决的问题。
技术实现要素：
9.本发明实施例的目的在于提供一种基于自监督学习的脑电信号在线自适应分类方法，以实现解决分布偏移问题，提高快速序列视觉呈现范式中脑电信号的分类性能的目的。具体技术方案如下：
10.一种基于自监督学习的脑电信号在线自适应分类方法，包括：
11.获得待测样本；其中，所述待测样本是对待测被试者在快速序列视觉呈现下采集到的脑电图信号进行预处理后得到的；
12.构建所述待测样本针对两个自监督任务分别对应的数据集，得到时序验证任务数据集和掩码空间识别任务数据集；
13.基于所述时序验证任务数据集和所述掩码空间识别任务数据集，对预先训练完成的原始脑电信号分类网络的参数进行更新，得到更新后脑电信号分类网络；其中，所述原始脑电信号分类网络是利用样本数据集对预设网络训练得到，所述样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。
14.利用所述更新后脑电信号分类网络对所述待测样本进行分类，得到对应的分类结果。
15.在本发明的一个实施例中，所述构建所述待测样本针对两个自监督任务分别对应的数据集，得到时序验证任务数据集和掩码空间识别任务数据集，包括：
16.针对所述时序验证任务，将所述待测样本作为正样本，通过在时间维度上将所述待测样本的不同部分进行交换操作得到负样本，由携带有对应标签的所述负样本和所述正
样本共同构成时序验证任务数据集；
17.针对所述掩码空间识别任务，根据预设的大脑区域与电极的对应关系，将所述待测样本划分为预设数量个区域，每次用预设噪声掩码所述待测样本中一个不重复区域的脑电图信号，得到该次的携带有标签的掩码后待测样本；由各次得到的掩码后待测样本共同构成掩码空间识别任务数据集；其中，每次得到的掩码后待测样本的标签，与所述待测样本该次被掩码的脑电图信号区域的区域编号一致。
18.在本发明的一个实施例中，所述通过在时间维度上将所述待测样本的不同部分进行交换操作得到负样本，包括：
19.将所述待测样本在时间维度上划分为前后两部分；
20.将所述前后两部分分别对应的脑电图信号进行交换，得到所述待测样本对应的负样本。
21.在本发明的一个实施例中，所述预设的大脑区域与电极的对应关系，包括预设数量个大脑区域，以及各大脑区域对应的用于采集脑电图信号的多个电极的名称。
22.在本发明的一个实施例中，所述预设噪声，包括高斯噪声。
23.在本发明的一个实施例中，所述基于所述时序验证任务数据集和所述掩码空间识别任务数据集，对预先训练完成的原始脑电信号分类网络的参数进行更新，得到更新后脑电信号分类网络，包括：
24.同时将所述时序验证任务数据集和所述掩码空间识别任务数据集输入所述原始脑电信号分类网络，分别得到时序验证任务的特征和掩码空间识别任务的特征；
25.将所述时序验证任务的特征输入预先构建的时序验证任务分类头，得到时序验证任务的预测分类结果；以及，将所述掩码空间识别任务的特征输入预先构建的掩码空间识别任务分类头，得到掩码空间识别任务的预测分类结果；
26.根据所述时序验证任务数据集的标签、所述时序验证任务的预测分类结果、所述掩码空间识别任务数据集的标签和所述掩码空间识别任务的预测分类结果，计算网络损失，并利用所述网络损失更新所述原始脑电信号分类网络的参数，得到更新后脑电信号分类网络。
27.在本发明的一个实施例中，所述时序验证任务分类头和/或所述掩码空间识别任务分类头由两层全连接层构成。
28.在本发明的一个实施例中，所述样本数据集的获得过程包括：
29.对选取的样本被试者进行快速序列视觉呈现实验，在预设实验条件下采集各样本被试者的脑电图信号；
30.对采集到的脑电图信号进行预处理；
31.由预处理后的所有脑电图信号构成样本数据集，并按照预设比例将所述样本数据集划分为训练集和测试集。
32.在本发明的一个实施例中，针对任一脑电图信号，所述预处理的过程，包括：
33.根据该脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的该脑电图信号进行分割，得到多个数据段；其中，所述快速序列视觉呈现对应的图像序列中每一图像的出现对应为一个刺激；
34.对每个数据段进行滤波；
35.对滤波后的每个数据段进行降采样处理；
36.对降采样处理后的每个数据段进行归一化处理。
37.在本发明的一个实施例中，所述预设网络，包括eegnet网络。
38.本发明的有益效果：
39.本发明实施例所提供的基于自监督学习的脑电信号在线自适应分类方法中，预先利用样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到样本数据集对预设网络进行训练，得到训练完成的模型，即原始脑电信号分类网络。在实际测试时，针对待测被试者在快速序列视觉呈现下采集到的脑电图信号进行预处理后得到的每个待测样本，先构建包括时序验证任务和掩码空间识别任务在内的两个自监督任务，并得到时序验证任务数据集和掩码空间识别任务数据集；然后基于所述时序验证任务数据集和所述掩码空间识别任务数据集，对所述原始脑电信号分类网络的参数进行更新，得到更新后脑电信号分类网络；最后利用所述更新后脑电信号分类网络对所述待测样本进行分类，得到对应的分类结果。
40.由于实际测试时呈现的未标记待测样本提供了其数据分布的信息。本发明实施例方法将单个未标记的待测样本转化为一个自我监督学习问题，包括时序验证任务和掩码空间识别任务。通过利用待测样本的自监督学习，在进行预测之前更新利用测试数据训练完成的模型的参数，来充分提取实际测试时脑电信号的分布信息，在实际测试时更新特征提取器的参数，从而缩小训练和实际测试时脑电信号的分布差异，使更新后的模型充分适应实际测试时样本的数据分布，从而提高脑电信号的分类性能。
41.相比于传统脑电信号分布偏移问题的解决方案，本发明实施例方法并未预测脑电数据在训练数据和测试数据之间分布的变化，而是在实际测试时从待测样本中学习，通过充分利用实际测试时的待测样本数据信号，更加高效地解决分布偏移问题，且在实际测试过程中解决分布偏移问题并未使用训练集数据。本发明实施例能够解决分布偏移问题，提高快速序列视觉呈现范式中脑电信号的分类性能，可用于医疗等多个领域的服务，具有较高的应用价值。
附图说明
42.图1为本发明实施例所提供的一种基于自监督学习的脑电信号在线自适应分类方法的流程示意图；
43.图2为本发明实施例的基于自监督学习的脑电信号在线自适应分类方法的整体实现流程的示意框图；
44.图3为本发明实施例构建时序验证任务数据集时负样本的一种构建过程示意图；
45.图4为本发明实施例构建掩码空间识别任务数据集的一种过程示意图；
46.图5(a)为本发明实施例快速序列视觉呈现对应的图像序列中非目标图像的示意图；
47.图5(b)为本发明实施例快速序列视觉呈现对应的图像序列中目标图像的示意图；
48.图6为本发明实施例实验中的采集脑电图信号的任务时序图；
49.图7为eegnet网络的结构示意图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.为了解决分布偏移问题，提高快速序列视觉呈现范式中脑电信号的分类性能，本发明实施例提供了一种基于自监督学习的脑电信号在线自适应分类方法。
52.需要说明的是，本发明实施例所提供的一种基于自监督学习的脑电信号在线自适应分类方法的执行主体可以为一种基于自监督学习的脑电信号在线自适应分类装置，该装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，当然并不局限于此。
53.请参见图1和图2理解本发明实施例所提供的一种基于自监督学习的脑电信号在线自适应分类方法。图1为本发明实施例所提供的一种基于自监督学习的脑电信号在线自适应分类方法的流程示意图；图2为本发明实施例的基于自监督学习的脑电信号在线自适应分类方法的整体实现流程的示意框图。
54.如图1所示，本发明实施例所提供的一种基于自监督学习的脑电信号在线自适应分类方法，可以包括如下步骤：
55.s1，获得待测样本。
56.本发明实施例针对获得的每个待测样本均可以单独执行所提供的基于自监督学习的脑电信号在线自适应分类方法，各步骤中以一个待测样本为例进行说明。
57.其中，所述待测样本是对待测被试者在快速序列视觉呈现下采集到的脑电图信号进行预处理后得到的。
58.本发明实施例中的待测被试者为健康条件符合要求即在快速序列视觉呈现范式下能够产生erp成分的人。所述快速序列视觉呈现对应包含有目标图像和非目标图像的图像序列，可以至少含有一个图像序列。各图像序列在显示屏幕上顺序出现，每个图像序列包含目标图像和非目标图像。其中目标图像包含目标，非目标图像不包含目标。目标可以根据需要设定，比如可以为人、车、动物等。可以理解的是，被试者在观测快速序列视觉呈现对应的图像序列时，会产生erp成分并体现在eeg信号中，利用eeg信号采集设备可以采集得到待测被试者在快速序列视觉呈现下的脑电图信号。
59.采集过程中，待测被试者佩戴有电极帽，通过电极帽上的电极采集待测被试者的脑电信号。根据测试设备的不同，采集过程相关参数的配置可以不同，比如，可选的一种实施方式中，可以采用64脑电通道电极帽，采样率可以为1024hz等，并涂覆脑电膏使得每个电极的阻抗保持在25kω以下，以确保得到高质量的脑电图信号。对待测被试者在快速序列视觉呈现下采集脑电图信号的过程请结合后文获得样本数据集的过程进行理解。
60.可选的一种实施方式中，针对任一脑电图信号，比如所述待测样本对应的脑电图信号，所述预处理的过程，可以包括：
61.a1，根据该脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的该脑电图信号进行分割，得到多个数据段；
62.在任一被试者(针对s1为待测被试者)观测快速序列视觉呈现对应的图像序列时，
所述快速序列视觉呈现对应的图像序列中每一图像的出现对应为一个刺激，图像序列中各图像出现的时刻是可获知的，可以以时间戳进行标记，因此，各刺激出现的时刻即为时间戳对应的时刻。
63.可以理解的是，在被试者观测快速序列视觉呈现对应的图像序列时，仅目标图像出现时，被试者才会被激发产生erp成分；而且，图像给予的刺激是图像出现的短时间内完成的，也就是说，被试者接受刺激产生erp成分的有效时间段非常短，因此，将每个图像的有效时间段内的脑电图信号截取出来进行分析即可，摒除其余无效信息可以减小脑电图信号的数据处理量，提高处理效率。
64.具体的，a1可以包括：
65.在该脑电图信号中，从对应的快速序列视觉呈现中各刺激出现的时间戳开始，分别截取预设时长的脑电图信号数据区间，得到该脑电图信号中各刺激对应的数据段。
66.以该脑电图信号对应的快速序列视觉呈现的图像序列含有50张图像为例，由于每张图像的出现标记有一个时间戳，那么，在该脑电图信号中，以每个时间戳为起点，分别截取预设时长的一段区间的脑电图信号，可以共计得到50个数据段，每个数据段对应一个图像，也就是一个刺激。
67.其中，预设时长根据经验值设置，比如可以为1秒等，也就是截取快速序列视觉呈现时目标或非目标出现开始到开始后1秒的脑电图数据。
68.a2，对每个数据段进行滤波；
69.在采集eeg信号的过程中，eeg信号通常会受到来自不同来源的噪声的污染。这些伪迹可能来自于眨眼、心电图(electrocardiogram，ecg)、肌电图(electromyogram，emg)，以及与系统中涉及的设备相关的任何外部来源。这些伪迹可能具有与eeg信号相似的振幅，因此很可能对接下来的任务造成干扰。在该步骤中，对每个数据段进行滤波的目的即为消除或衰减噪声，在不丢失相关信息的情况下简化后续处理操作，以便在后续环节提取可靠的特征。
70.该步骤可以利用现有的任意一种去噪方法实现，本发明实施例在此不做限制。比如，可选的一种实施方式中，可以使用带通滤波器，具体可以为截止频率为0.1～48hz的六阶巴特沃斯带通滤波器等。
71.a3，对滤波后的每个数据段进行降采样处理；
72.为了降低后续网络特征提取的数据量，该步骤对滤波后的每个数据段分别进行降采样处理。比如，可以将滤波后的每个数据段的采样率均降低到256hz等。当然采样率降低后的频率不限于该数值，可以根据场景需求合理设置。
73.a4，对降采样处理后的每个数据段进行归一化处理。
74.由于降采样处理后的各数据段可能数据分布形式并不相同，为了便于后续网络特征提取等处理，需要对降采样处理后的每个数据段进行归一化处理，实现数据分布形式、数据格式的统一。具体归一化处理的方法可以根据需求选取任意一种现有归一化方法实现，比如，可选的一种实施方式中，可以采用z评分方法实现，具体处理过程请参见相关现有技术，在此不做详细说明。
75.s2，构建所述待测样本针对两个自监督任务分别对应的数据集，得到时序验证任务数据集和掩码空间识别任务数据集。
76.本发明实施例针对每个待测样本均构建有两个自监督任务，分别为时序验证任务和掩码空间识别任务。目的是通过解决时序验证任务，学习脑电图信号的时间上下文联系，通过解决掩码空间识别任务，挖掘脑电图信号各通道区域的空间关系。
77.可选的一种实施方式中，s2可以包括：
78.s21，针对所述时序验证任务，将所述待测样本作为正样本，通过在时间维度上将所述待测样本的不同部分进行交换操作得到负样本，由携带有对应标签的所述负样本和所述正样本共同构成时序验证任务数据集；
79.为了解决时序验证任务，预设网络对应的特征提取网络必须学习时间维度的相关性，这样有利于提高脑电信号的分类准确率。
80.其中，正样本的标签为“正”，可以用1表示；负样本的标签为“负”，可以用0表示。有正样本和其标签，负样本和其标签共同构成时序验证任务数据集。
81.针对s21，可选的一种实施方式中，所述通过在时间维度上将所述待测样本的不同部分进行交换操作得到负样本，可以包括：
82.b1，将所述待测样本在时间维度上划分为前后两部分；
83.b2，将所述前后两部分分别对应的脑电图信号进行交换，得到所述待测样本对应的负样本。
84.具体的，针对所述待测样本在时间维度上的长度，可以根据固定时间位置将所述待测样本在时间维度上划分为前后两部分，或者也可以根据随机时间位置将所述待测样本在时间维度上划分为前后两部分；或者，针对所述待测样本在时间维度上的长度，也可以根据固定或者随机的一个比例，比如30％，将所述待测样本在时间维度的长度上前30％部分作为前一部分，将后70％部分作为后一部分等，这都是合理的。将所述前后两部分分别对应的脑电图信号进行交换则得到负样本。
85.关于负样本的构建过程，请参见图3理解，其中，作为正样本的所述待测样本在时间维度上被划分为前后两部分，分别以t1和t2表示，通过将t1和t2分别对应的脑电图信号进行交换得到负样本，可见，负样本中变为t2在前，t1在后。
86.针对s21，可选的一种实施方式中，所述通过在时间维度上将所述待测样本的不同部分进行交换操作得到负样本，可以包括：
87.c1，将所述待测样本在时间维度上划分为至少三个部分；
88.c2，将所述至少三个部分分别对应的脑电图信号进行交换，得到所述待测样本对应的负样本。
89.以将所述待测样本在时间维度上划分为三个部分为例进行说明，比如作为正样本的所述待测样本在时间维度上被划分为t1、t2和t3三个部分，那么可以将这三个部分对应的脑电图信号任意交换，得到和正样本具有差异的负样本即可，比如负样本在时间维度上顺次的三个部分可以为t2、t1和t3，或者t3、t2和t1等。
90.s22，针对所述掩码空间识别任务，根据预设的大脑区域与电极的对应关系，将所述待测样本划分为预设数量个区域，每次用预设噪声掩码所述待测样本中一个不重复区域的脑电图信号，得到该次的携带有标签的掩码后待测样本；由各次得到的掩码后待测样本共同构成掩码空间识别任务数据集；
91.其中，每次得到的掩码后待测样本的标签，与所述待测样本该次被掩码的脑电图
信号区域的区域编号一致。
92.本发明实施例中，所述预设的大脑区域与电极的对应关系，包括预设数量个大脑区域，以及各大脑区域对应的用于采集脑电图信号的多个电极的名称。
93.本领域技术人员可以理解的是，大脑区域可以被划分为预设数量个不同的区域，每个区域上对应有一些用于采集eeg信号的电极，被放置于待测被试者或者实验过程的样本被试者的头皮上。因此，针对一个被试者，其eeg信号可以划分为预设数量个区域的eeg信号。
94.可选的一种实施方式中，由于本发明实施例可以采用64脑电通道采集eeg信号，预设数量可以为8，当然，也可以根据需要选择其余数量，这都是合理的。为了便于理解，以下以预设数量为8进行举例说明。
95.示例性的，关于掩码空间识别任务数据集的构建过程，请参见表1和图4理解，表1为一种大脑区域与电极的对应表，表示预设的大脑区域与电极的对应关系的一种示例，但不作为对本发明实施例中预设的大脑区域与电极的对应关系的限制。表1中，大脑区域被划分为八个区域，包括前脑、左颞叶、正面、右颞叶、左顶叶、枕叶、右顶叶和前部。每个大脑区域对应有一些电极，名称请见表1。
96.表1一种大脑区域与电极的对应表
[0097][0098][0099]
并请参见图4，图4为本发明实施例构建掩码空间识别任务数据集的一种过程示意图；其中箭头左侧大的圆形表示大脑，其中各个小圆形表示对应的大脑区域，每个小圆形中的符号代表该大脑区域对应的电极名称。
[0100]
可以理解的是，针对所述待测样本对应的eeg信号，可以被划分为8个区域的eeg信号，每次用预设噪声掩码所述待测样本中一个不重复区域的脑电图信号即为一次掩码操作。针对第i次掩码操作，用预设噪声掩码这8个区域的eeg信号中的第i区域的eeg信号，图4中被掩码的区域的eeg信号以黑白格填充表示，即图例中的高斯噪声掩码，则第i次掩码操作后得到的新的8个区域的eeg信号作为第i次得到的掩码后待测样本，其标签即为i，其中i∈[1，8]。按照上述方式进行8次掩码操作，使得每次掩码操作所掩码的区域不重复，则最后得到的8次对应的所有掩码后待测样本共同构成掩码空间识别任务数据集。
[0101]
图4中，是依次对所述待测样本对应的eeg信号中第1～第8区域分别进行掩码。当然可选的一种实施方式中，也可以不依据一定的顺序，满足各次掩码遍历完成所有区域且各次掩码的区域不重复即可。
[0102]
如图4所示，可选的一种实施方式中，所述预设噪声，包括高斯噪声。当然，预设噪声也可以为泊松噪声、乘性噪声和椒盐噪声等能够起到掩码作用的噪声。
[0103]
s3，基于所述时序验证任务数据集和所述掩码空间识别任务数据集，对预先训练完成的原始脑电信号分类网络的参数进行更新，得到更新后脑电信号分类网络。
[0104]
其中，所述原始脑电信号分类网络是利用样本数据集对预设网络训练得到，所述样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。
[0105]
为了便于理解本发明实施例的方案，首先对所述样本数据集以及所述原始脑电信号分类网络的获得过程进行说明。
[0106]
(一)所述样本数据集的获得过程包括：
[0107]
(1)对选取的样本被试者进行快速序列视觉呈现实验，在预设实验条件下采集各样本被试者的脑电图信号；
[0108]
本发明实施例中，快速序列视觉呈现也可以称为快速串行视觉呈现，即对应的图像序列中串行的各图像快速切换显示在显示屏幕上。
[0109]
在实验准备阶段，选择多名健康条件符合要求的样本被试者。具体的，所有被试者均具满足正常或矫正视力正常，且各样本被试者均不存在神经系统问题或严重疾病史，以避免影响实验结果。样本被试者的数量可以根据样本数量要求确定，比如可以为10名等。另外，样本被试者需要被详细告知实验注意事项并确认同意开展实验过程，以确保实验过程满足相关要求。
[0110]
预设实验条件可以为：脑电信号使用biosemi公司的active-two系统进行收集，样本被试者佩戴64脑电通道电极帽，采样率设置为1024hz，实验过程中保证每个电极的阻抗低于25kω，以确保采集到高质量的脑电信号等。
[0111]
在实验阶段，对各样本被试者进行快速序列视觉呈现实验，同时通过电极帽上的电极采集被试者的脑电图信号。
[0112]
每一次实验按照时间先后顺序共有四种状态，分别为预备状态、观看状态、间歇状态和等待状态，其中：
[0113]
预备状态时，首先显示屏幕会出现预设图形，如十字准星等，以便于被试者集中注意力等待连续观看图片序列，在等待时长后立即进入图片序列的播放；所述等待时长可以为2s等。
[0114]
观看状态时，含有目标图像和非目标图像的图像序列以预定频率，比如5hz或者10hz等，随机顺序出现在显示屏幕中央，以使样本被试者观看。图像序列中图像的数量可以为50等。播放完一个图像序列，表示完成一次观看，也表示完成一个trial实验。
[0115]
图像序列中图像的样式可以参考图5，图5(a)为本发明实施例快速序列视觉呈现对应的图像序列中非目标图像的示意图；图5(b)为本发明实施例快速序列视觉呈现对应的图像序列中目标图像的示意图；图5(a)和图5(b)分别给出2个图像作为示例，在此，相应图像以灰度图显示。其中，图像的分辨率为800*600等，目标为车。当然，图5(a)和图5(b)仅仅作为一种示例，本发明实施例的目标并不局限于车，可以根据需要合理选择，比如可以为人、动物等。
[0116]
本发明实施例实验共收集了500幅目标图像和1000幅非目标图像，每次从中挑选4张目标图像和46张非目标图像组成50幅图像，即一个图像序列；在观看状态中，每显示50幅图像后会有一个间歇状态，显示屏幕可以转换为黑屏等状态，该状态可以持续2秒等，以便于样本被试者调整状态。
[0117]
按照上述过程完成10个trial实验即表示完成了1个block实验，此时样本被试者进入等待状态进行休息，在预定休息时长后，比如4秒后再次进入下一个block实验，如此循环，直至完成预设个block数的实验，则可以结束实验过程，其中预设个block数可以为30等。需要补充说明的是，在整个实验过程中，各图像序列的图像均为随机生成。
[0118]
关于本发明实施例实验中脑电图信号采集的时序，请结合图6理解，图6为本发明实施例实验中的采集脑电图信号的任务时序图。在此，相应图像以灰度图显示。其中，实验共有30个block，每一个block有10个trialtrial，一个trial播放一个图像序列，一个图像序列有50幅图像。通过上述实验，共采集1200个单试次样本。
[0119]
可以理解的是，获得待测样本时，对待测被试者在快速序列视觉呈现下采集到的脑电图信号的过程类似上述过程。
[0120]
(2)对采集到的脑电图信号进行预处理；
[0121]
在该步骤中，对采集到的每个作为样本的脑电图信号进行预处理，得到对应的预处理后脑电图信号。预处理过程请参见s1中针对任一脑电图信号，所述预处理的过程进行理解，在此不做重复说明。
[0122]
(3)由预处理后的所有脑电图信号构成样本数据集，并按照预设比例将所述样本数据集划分为训练集和测试集。
[0123]
具体的，由预处理后的所有脑电图信号构成样本数据集，训练集和测试集划分的预设比例可以为8：2等。训练集用于训练预设网络得到原始脑电信号分类网络。
[0124]
(二)所述原始脑电信号分类网络的获得过程包括：
[0125]
1)搭建网络结构；
[0126]
本发明实施例中以预设网络作为搭建的网络结构。
[0127]
可选的一种实施方式中，所述预设网络，可以包括eegnet网络。使用该网络是考虑到其具有以下三点优势：(a)可以应用于多种不同的bci范式，(b)可以用非常有限的数据进行训练，(c)可以产生神经生理学上可解释的特征。
[0128]
eegnet网络的结构请参见图7，eegnet网络是由时间特征提取单元、通道相关性提取单元、时空特征残差融合单元和分类单元依次连接构成。具体的：
[0129]
时间动态提取单元，使用1*64卷积模块，通过在时间维度上采用卷积运算来提取脑电信号的时域特征。
[0130]
通道相关性提取单元，是由64*1卷积模块组成的空间特征提取单元，通过对不同的脑电通道采用深度卷积运算来提取脑电信号的空间特征表示。
[0131]
时空特征融合单元，由深度卷积运算模块和1*1逐点卷积模块级联而成，通过融合时空信息，以提取更鲁棒的特征。
[0132]
分类单元，通过全连接层完成分类功能。
[0133]
关于eegnet网络各部分的具体结构和处理方式，请结合相关现有技术理解，在此不做详细说明。
[0134]
2)完成网络训练
[0135]
本发明实施例的网络训练过程参照eegnet训练过程执行。具体使用训练集通过梯度下降法对eegnet进行迭代训练，得到训练后的模型，称之为原始脑电信号分类网络；其中，训练参数可以设置如下：训练次数设置为150次，单次样本输入量为4，损失函数为交叉
熵损失函数，优化器采用自适应矩估计优化器，学习率初始为0.001。
[0136]
具体训练过程可以包括以下步骤：
[0137]
①
每次从训练集中选取4个单试次样本送入eegnet网络，先对样本数据进行时间特征提取，接着进行通道相关性提取，然后经过时空特征融合单元得到脑电信号特征，再将脑电信号特征送入卷积分类器进行分类；
[0138]
②
根据分类结果和样本真实标签计算出交叉熵损失，再由自适应矩估计优化器根据交叉熵损失对入eegnet网络中的卷积层和批归一化层中的参数进行更新；
[0139]
③
遍历训练集中的所有样本，完成训练，得到训练后的eegnet网络，即原始脑电信号分类网络。
[0140]
可选的一种实施方式中，对eegnet网络利用所述训练集，通过梯度下降法按照上述步骤进行网络训练得到所述原始脑电信号分类网络后，还可以再次利用测试集进行测试和参数优化。具体的，可以将测试集中的样本直接输入所述原始脑电信号分类网络进行分类，得到分类结果，然后对分类结果进行统计，结合测试集中样本的真实标签，得到所述原始脑电信号分类网络在测试集上的分类准确率，根据分类准确率调整所述原始脑电信号分类网络的卷积核大小、学习率等参数，从而得到一个在离线数据集上表现良好的优化网络，可以将该优化网络作为训练完成的原始脑电信号分类网络，以在对未知的待测被试者进行实时的快速序列视觉呈现脑电图信号分类时使用。可见，该种实施方式利用测试集进行再优化，可以进一步提高网络性能，提高脑电图信号分类的准确率。
[0141]
以上是对样本数据集和原始脑电信号分类网络的获得过程的简介。
[0142]
针对s3基于所述时序验证任务数据集和所述掩码空间识别任务数据集，对预先训练完成的原始脑电信号分类网络的参数进行更新，得到更新后脑电信号分类网络。
[0143]
本发明实施例是利用两个自监督任务再次更新原始脑电信号分类网络的参数。概括来说，是根据多任务学习理论，同时将两个自监督任务构造的正负对数据输入所述原始脑电信号分类网络，两个自监督任务有助于待测样本对应的脑电信号分类任务，学习相关的空间信息和时间信息，并且在不断迭代学习的过程中使得两个自监督任务相互促进，进一步提高模型，也就是原始脑电信号分类网络的分类能力。
[0144]
可选的一种实施方式中，s3可以包括以下步骤：
[0145]
s31，同时将所述时序验证任务数据集和所述掩码空间识别任务数据集输入所述原始脑电信号分类网络，分别得到时序验证任务的特征和掩码空间识别任务的特征；
[0146]
具体的，所述原始脑电信号分类网络采用的eegnet可以被理解为一个特征提取器串联一个分类器。该步骤同时将所述时序验证任务数据集和所述掩码空间识别任务数据集输入所述原始脑电信号分类网络后，由特征提取器输出时序验证任务的特征和掩码空间识别任务的特征。这两个特征是维度均为1x128的特征向量，分别包含所述待测样本的时间和空间信息。其中，时间信息具体指所述待测样本的脑电信号中erp(事件相关电位)各个组件之间的内在联系，空间信息指的是所述待测样本的各个脑电通道之间的关系。
[0147]
s32，将所述时序验证任务的特征输入预先构建的时序验证任务分类头，得到时序验证任务的预测分类结果；以及，将所述掩码空间识别任务的特征输入预先构建的掩码空间识别任务分类头，得到掩码空间识别任务的预测分类结果；
[0148]
其中，所述时序验证任务分类头和所述掩码空间识别任务分类头可以采用现有的
任意一种分类网络实现。
[0149]
比如，可选的一种实施方式中，所述时序验证任务分类头和/或所述掩码空间识别任务分类头由两层全连接层构成。
[0150]
针对一个待测样本，时序验证任务的预测分类结果包括正样本的预测分类结果和负样本的预测分类结果，其中，预测分类结果为“正”或者“负”。“正”表示该样本的脑电图信号在时间维度上没有被颠倒，“负”表示该样本的脑电图信号在时间维度上被颠倒。掩码空间识别任务的预测分类结果包括各次得到的掩码后待测样本的预测分类结果，其中，预测分类结果表示掩码后待测样本中被掩码的区域。
[0151]
s33，根据所述时序验证任务数据集的标签、所述时序验证任务的预测分类结果、所述掩码空间识别任务数据集的标签和所述掩码空间识别任务的预测分类结果，计算网络损失，并利用所述网络损失更新所述原始脑电信号分类网络的参数，得到更新后脑电信号分类网络。
[0152]
该步骤中，是利用预测结果和标签的差异，计算网络损失，并使用梯度下降法再次更新所述原始脑电信号分类网络的参数，得到更新后脑电信号分类网络。
[0153]
本发明实施例研究发现训练集数据分布与实际测试时数据集数据分布之间存在偏移的现象是影响快速序列视觉呈现范式分类准确率的关键因素。因而实际测试时的数据分布随时间不断偏移这一现象造成利用样本数据集中的训练集训练完成的所述原始脑电信号分类网络不再适用于实际测试。针对这一问题，本发明实施例发明人研究发现无标签的测试数据中隐含了测试阶段丰富的数据分布信息，充分利用这一潜在的分布信息将有利于帮助适用于训练集分布的模型适应实际测试阶段。那么如何通过这个无标签数据更新模型，即所述原始脑电信号分类网络，使其适应实际测试时的分布是本发明实施例研究的关键点。
[0154]
在本步骤中，对于每一个待测样本，利用以上三个步骤完成模型参数更新。整个过程是通过自监督学习建立从无标签待测样本到模型参数之间的反馈机制，从而更新原来训练完成的模型。为此，本发明实施例考虑到脑电信号包含丰富的时间和空间信息，分别设计了时序验证任务和掩码空间识别任务这两个自监督任务来提取时间和空间信息。这两个自监督任务从未标记的待测样本中自动创建标签，可以调整分布偏移下的特征提取器。时序验证任务利用脑电信号的时间相关性，通过判断待测样本是否在时间维度上发生颠倒来提取时间维度信息。掩码空间识别任务使用高斯等噪声随机屏蔽大脑特定区域中的部分电极，通过识别屏蔽区域来捕获不同大脑区域的内在空间关系。时序验证任务和空间掩码识别任务分别有助于原始数据(待测样本)对应的脑电信号分类任务学习相关的时间信息和空间信息，并且在不断迭代学习的过程中通过两个任务的相互促进，进一步适应实际测试时产生的分布偏移，提高模型的分类能力。
[0155]
s4，利用所述更新后脑电信号分类网络对所述待测样本进行分类，得到对应的分类结果。
[0156]
该步骤可以理解为模型推理，实现脑电信号分类的过程。
[0157]
具体的，将所述待测样本输入所述更新后脑电信号分类网络，可以得到其分类结果，分类结果为一个维度为2的向量，其中各数值依次表示所述待测样本中无目标和目标为车的概率，比如分类结果为(0.7，0.1)，表示所述待测样本对应的图像中无目标的可能性为
0.7，目标为车的可能性为0.1，那么根据各概率的数值高低，可以确定最终的分类结果为无目标。
[0158]
可选的一种实施方式中，所述待测样本也可以测试集中的测试样本。针对该种实施方式，首先利用测试集获得训练完成的原始脑电信号分类网络，再用测试集中的每一个测试样本进行s1～s4步骤，可以得到每个测试样本的分类结果。
[0159]
进一步的，可以对测试集按照上述方式得到的所有分类结果进行统计，得到在测试集上的识别准确率，以用于评估算法的效能，或者进一步指导模型参数优化调整等。
[0160]
本发明实施例所提供的基于自监督学习的脑电信号在线自适应分类方法中，预先利用样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到样本数据集对预设网络进行训练，得到训练完成的模型，即原始脑电信号分类网络。在实际测试时，针对待测被试者在快速序列视觉呈现下采集到的脑电图信号进行预处理后得到的每个待测样本，先构建包括时序验证任务和掩码空间识别任务在内的两个自监督任务，并得到时序验证任务数据集和掩码空间识别任务数据集；然后基于所述时序验证任务数据集和所述掩码空间识别任务数据集，对所述原始脑电信号分类网络的参数进行更新，得到更新后脑电信号分类网络；最后利用所述更新后脑电信号分类网络对所述待测样本进行分类，得到对应的分类结果。
[0161]
由于实际测试时呈现的未标记待测样本提供了其数据分布的信息。本发明实施例方法将单个未标记的待测样本转化为一个自我监督学习问题，包括时序验证任务和掩码空间识别任务。通过利用待测样本的自监督学习，在进行预测之前更新利用测试数据训练完成的模型的参数，来充分提取实际测试时脑电信号的分布信息，在实际测试时更新特征提取器的参数，从而缩小训练和实际测试时脑电信号的分布差异，使更新后的模型充分适应实际测试时样本的数据分布，从而提高脑电信号的分类性能。
[0162]
相比于传统脑电信号分布偏移问题的解决方案，本发明实施例方法并未预测脑电数据在训练数据和测试数据之间分布的变化，而是在实际测试时从待测样本中学习，通过充分利用实际测试时的待测样本数据信号，更加高效地解决分布偏移问题，且在实际测试过程中解决分布偏移问题并未使用训练集数据。本发明实施例能够解决分布偏移问题，提高快速序列视觉呈现范式中脑电信号的分类性能，可用于医疗等多个领域的服务，具有较高的应用价值。
[0163]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
