1 引言 1.1 研究背景

注意力是指一个人的心理活动指向和专注于某事物的能力, 是人们在生活和实践中必须具备的重要心理素质. 注意力不能集中是一种注意力障碍, 主要表现为无法将心理活动指向某一个具体事物, 或者无法将全部的精力集中到该事物上, 同时无法抑制对无关事物的注意^[1]. 注意力长期不集中, 不是暂时性问题, 而是与智力相关的认知问题, 对青少年的发展有着举足轻重的作用. 注意缺陷与多动障碍 (attention deficit and hyperactivity disorder, ADHD)俗称多动症, 是指以明显注意集中困难、注意持续时间短暂、活动过度或冲动为主要特征的一组综合征, 多发于儿童及青少年, 患病率约为3%–5%^[2]. 同时, 青少年注意力问题也是教育一直关注的重点, 可以反映教学效果和学习效率. 我国第1次大规模注意力调查结果显示: 仅58.8%的青少年上课时能集中注意力, 39.7%的人能坚持听课30 min以上. 因此, 客观、有效地评估学生的注意力, 对青少年的健康成长以及教育教学都具有重要的指导作用^[3].

1.2 研究现状

注意力检测的方法主要可以分为3种: 第1种是基于对表情、姿势等外部行为的观察, 该方法依赖人工观察, 具有较强的主观性, 且耗费大量人力. 第2种是基于面部表情、目光等的仪器检测, 如通过穿戴式设备记录人眼信号进行注意力检测. 例如, Rosengrant等人使用便携式眼动仪来记录学生在课堂上的注意力, 发现学生和教师互动可以有效维持学生的注意力^[4]. 该方法基于仪器监测被试的外部行为, 可比人工观察提供更客观和准确的注意力监测结果, 但该方法对于一些伪装性行为难以分辨, 所以也难以精准地反映出真实的注意力. 第3种是基于生理信号的检测, 如通过脑影像设备记录脑神经活动信号进行注意力检测, 该方法可以更客观、准确地反应注意力情况, 而且能具体到特定事件的注意力检测. 由于脑电设备的便携、成本低等优点, 基于脑电信号的注意力检测近年来受到了越来越多的关注^[5]. 例如, Kosmyna等人提出了基于EEG的可穿戴系统AttentivU, 并测试了48名成年人在学习场景和面对面讲座中的参与度^[6]. Gupta和Kumar利用单电极脑电图设备测量学生在观看在线课程视频的注意力水平^[7]. Ming等人对6人在注意力集中、注意力非集中和休息3种不同状态下进行了EEG信号采集, 并引入了多尺度熵来区分3个注意力状态^[8].

在基于脑电信号的注意力检测中, 传统方法是通过提取与注意力相关的脑电特征进行分析, 如特定频率波段的能量或者功率谱^[9]. 这种方法虽然容易实现, 但由于大脑头皮在不同状态的脑电能量水平差异较小, 因此以某个波段脑电的某个能量特征来识别注意力, 可能导致较高的误判率^[10]. 近些年由于机器学习以及深度学习的快速发展, 越来越多的研究利用机器学习或深度学习算法进行注意力分类并取得了很好的结果. 例如, Li等人使用K最近邻分类器对3种注意力级别的脑电信号进行分类^[11]. Hu等人使用CFS+KNN (基于相关的特征选择+K近邻)算法对高、中、低3类注意力的脑电信号进行区分^[12]. Liu等人基于学生的脑电信号和支持向量机(support vector machine, SVM)判断学生在教学过程中是否专心, 即区分被试的注意力和注意力非集中状态^[10]. Aziz等人基于希尔伯特-黄变换(Hilbert-Huang transform, HHT)和极限学习机(extreme learning machine, ELM)分类器对注意力集中和注意力不集中两种状态进行识别^[13]. Peng等人基于α和β波的频带功率及其谱熵, 提出一种HHT+SVM方法识别参与者的注意力集中和放松状态^[9]. 陈群等人应用仿真对6位受试者在注意和非注意两种状态下的脑电信号进行分析和区分, 发现深度森林算法对注意力状态识别的准确率达95%以上^[14]. 双通道是指脑电采集时使用脑电两个电极采集的数据, Zhang 等人通过双通道进行睡眠分期, 测试结果达到89%左右的分类准确率^[15]. 根据脑区对称的原理, 对称的两个脑电采集点, 称为对称双通道, 本文将探讨对称双通道在注意力分类的效果.

1.3 研究意义

目前, 基于脑电信号的注意力检测研究仍存在被试人数过少、多通道数据依赖或分类准确率不高的问题. 因此, 本文对包含155名大学生的大型脑电数据集进行分析, 提取脑电信号的小波特征、微分熵特征及功率谱特征, 并分别基于单通道特征和对称双通道特征, 使用多种机器学习分类器对被试的注意力集中、注意力非集中和休息3种状态进行了识别. 目前还没有研究基于双通道脑电特征对注意力进行检测的, 本文是首次. 这种轻便的方法可能可能为注意力检测提供新的检测手段, 并可能用于临床环境中检测注意力缺陷多动障碍.

2 研究方法 2.1 实验对象

本研究共招募了155人进行实验, 均为年龄在18–24岁的在校大学生. 其中男性为90人, 女性被试65人. 被试均无报告有精神类疾病患病历史. 要求被试在实验前24小时无服用精神类药物且充分休息. 所有被试在实验前已经知晓所有实验细节, 并签署书面知情同意书.

2.2 实验采集设备

本研究中的EEG信号是使用32通道的ESI NeuroScan系统(Compumedics, Neuroscan, Inc., Australia)收集的. 电极位置按脑电图国际标准导联10-10系统^[16]放置, 如图1所示. 其中A1和A2为参考电极以右侧乳突为参照, 接地电极放置于受试者前额. 其余30个通道包括12对对称电极 (Fp1/Fp2、F7/F8、F3/F4、FT7/FT8、FC3/FC4、T3/T4、C3/C4、TP7/TP8、CP3/CP4、P7/P8、P3/P4和O1/O2) 和6个中轴电极(Fz、FCz、Cz、CPz、Pz和Oz). 在数据采集过程中, 所有电极的阻抗保持在5 kΩ以下. 实验过程中, 由于设备的问题, 导致TP7, TP8, P7, P8, P3, P4, O1和O2通道的数据噪声过大. 因此, 在数据分析过程中我们剔除了这8个通道的数据.

2.3 实验步骤

每个被试的整个实验共包含3种不同状态的任务: 注意力集中(心算)、注意力非集中(安静并想象别的事情)和休息(放松状态). 在注意力集中状态中, 在进行注意任务的时候, 屏幕会以两秒的频率随机给出数字, 要求被试进行减去3的心算活动, 并在试验的过程中保持安静, 只进行心算活动. 在注意力非集中任务中, 要求被试静坐, 不要动, 注意力不要集中, 视觉以及思维不要一直聚焦于一个点、一件事, 可以想象自己腿动, 手脚动, 用余光四处看看等. 进行放松任务时, 被试可以稍稍闭眼, 小幅度活动, 保持安静的状态, 思维不要集中. 每个任务各进行10次, 每次1 min, 每个被试总共进行30个任务试验, 顺序随机, 总时长为30 min. 实验范式如图2所示.

2.4 数据处理 2.4.1 数据预处理

脑电信号的原始采样频率为1 000 Hz, 为了方便数据分析, 我们首先将信号下采样到250 Hz. 由于眼电信号和肌电等对脑电信号会有比较明显的干扰, 为了去除这些干扰, 我们对下采样的数据进行了1–50 Hz的带通滤波.

2.4.2 脑电信号的特征提取

在提取特征之前, 我们首先将预处理后的脑电信号使用带通巴特沃斯滤波器进行频带提取, 共提取了5个常用的频带: delta (1–3 Hz), theta (4–7 Hz), alpha (8–13 Hz), beta (14–30 Hz)和gamma (30–50 Hz). 然后, 我们对每个被试的每个通道数据分别提取5个频段的功率谱密度(power spectral density, PSD)特征, 微分熵(differential entropy, DE)特征和小波变换特征用于注意力状态的识别.

(1)功率谱密度(PSD)特征

功率谱密度是脑电信号常用的传统频域特征之一, 它表明了信号或者时间序列的功率在频率上的分布^[17]. 为了获得频域上的能量谱特征值, 我们首先采用离散的短时傅里叶变换(short-time Fourier transform, STFT), 将时域上的脑电信号映射到频域上. 同时, 采用汉宁窗作为STFT的窗函数, 并将窗口大小设为1 s, 对时域序列上每1 s的数据都进行一次傅里叶变换, 从而不仅获得了脑电的频域序列, 又能够获得脑电频域特征值随时间的变化趋势. 最后, 将短时傅里叶变换得到的频域序列, 利用式(1)分别计算5个频段的功率谱密度:

$ {\textit{PSD}}=\sum {a}{b}{s}{\left({\textit{fft}}{{D}{a}{t}{a}}_{{i}}\right)}^{2}/({E}{n}{d}{N}-{\textit{Start}}{N}+1) $

(1)

其中, ${\textit{fft}}{Data}_{i}$ 是指频域信号上第i个点对应的信号数值, $End{N}$ 是一个频段的结束点位置, $\textit{Start}N$ 是该频段开始点位置. 这样, 每个样本可以提取5个PSD特征数据.

(2)微分熵(DE)特征

微分熵是香农信息熵在连续变量上的推广, 用于测量连续随机变量的复杂性^[18], 具有能够分辨出高频能量和低频能量的脑电模式的能力. 微分熵由Shi等人^[19]于2013年首次提出, 并应用于基于脑电的疲劳检测问题, 他们通过对脑电数据的观察, 认为在脑电常用频段上, 信号的时间序列X很大程度上是服从高斯分布 N(μ, $\sigma^2 $ ) 的, 因此, 对于一个固定频段i, 微分熵可以定义^[20]为:

$ \text{}{DE=}-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{p}\left({x}\right)\text{log}\left({p}\left({x}\right)\right){dx=}\frac{1}{2}\text{log(2}\text{πe}{\mathrm{\sigma }}^{2}\text{)} $

(2)

其中:

$ {p}\left({x}\right)=\frac{1}{\sqrt{2\mathrm{\text π }{\mathrm{\sigma }}^{2}}}{\mathrm{e}}^{-\frac{({x}-\mathrm{\mu })}{2\mathrm{\text π }{\mathrm{\sigma }}^{2}}} $

(3)

用式(3), 我们可以分别计算得到5个频段上脑电的DE特征值.

(3)小波特征

小波变换是由傅里叶变换发展起来的一种多尺度的信号分析方法, 在时间、尺度两域都具有表征信号局部特征的能力, 因此非常适合分析非平稳脑电信号的瞬态和时频特性. 本文使用离散小波变换计算小波特征, 公式^[21]如下:

$ {{c}}_{{j}, {k}}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}\left({t}\right){\times}{\mathrm{\phi }}_{{j}, {k}}\left({t}\right){d}{t} $

(4)

其中:

$ {\mathrm{\phi }}_{{j}, {k}}={2}^{-{j}/2}\mathrm{\phi }({2}^{-{j}}{t}-{k}) $

(5)

2.4.3 脑电信号分类算法

本文使用了6种机器学习算法对注意力脑电信号进行分类, 包括随机森林(random forest)、级联森林(cascade forest)、感知机(perceptron)、K近邻算法(K neighbors)、支持向量机分类器(SVM)和决策树(decision tree). 通过对比不同的机器学习的模型, 进行最优的注意力检测算法的选取, 用于注意力的分类检测. 这几种机器学习算法都是常见的脑电分析方法. 例如Jana等人^[22]通过使用多视图的SVM的方法, 将癫痫分类准确度, 单视图SVM方法的95%, 提高了1%–4%. Wong等人^[23]通过试验证明, 基于感知器的学习比基于平均和最佳过滤的学习产生更好的脑电波分类率. Na等人^[24]使用k阶邻接进行癫痫脑电分类诊断, 实现癫痫脑电的自动分类, 其准确率不低于99.5%. Guan 等人^[25]使用决策树进行运动想象分类, 应用于BCI竞赛的IV数据集, 将Kappa值已从0.57提高到0.607. 陈群等人^[14]针对脑电信号的注意力识别精度问题, 应用深度森林的算法进行仿真研究. 实验分别对6位受试者在注意和非注意两种状态下的脑电信号进行分析, 结果表明, 对注意力状态识别的准确率达到了95%以上, 结果证明了该算法对脑电信号注意力识别的准确率是可靠的. 王冰冰等人^[26]将注意力分为5类, 并提出基于随机森林模型的注意力检测方法以改进检测的准确率, 达76.17%. 以上相关研究证明, 随机森林、级联森林、感知机、K近邻、支持向量机和决策树这几种算法均可以有效进行脑电信号的分类.

(1)随机森林算法(random forest)

随机森林是由很多决策树分类模型组成的组合分类模型. 随机森林算法主要包括树的生长和投票两个过程. 利用随机森林算法进行分类时, 首先向森林各个决策树中输入特征向量, 每棵决策树对输入的向量单独进行分类, 并按分类结果进行投票, 投票最多的作为分类结果输出.

(2)级联森林算法(cascade forest)

由图3描述级联森林是一种基于集成结构的分类器, 它是一种集成的集成. 级联森林一般由两种不同的森林构成, 图3的实线部分表示的是完全随机森林, 完全随机森林就是从全部特征空间中随机选取特征进行分裂; 图3的虚线部分表示的是随机森林, 该随机森林就是在一个随机特征子空间内通过基尼系数来选取分裂节点. 在训练过程中, 每个完全随机森林和随机森林中的每棵树都会生成一个关于类别的概率分布, 然后对森林内所有树的各类比例取均值, 则可以得到整个森林对各类的比例. 深度森林同时将前一层的输入数据和输出结果连接后作为下一层的输入特征, 这样做的优势是保留了数据的原始特征做后续处理, 最后一层则将所有森林输出的三维向量求取均值, 并将最大一维作为最后的输出.

级联森林的优点在于: 1)对于不同的样本数据规模, 深度森林都具有更为稳定的学习能力; 2)级联森林在不设置超参数的情况下也能有较好的分类性能; 3)深度森林的提出让不使用反向传播来构建深度学习模型成为可能.

脑电信号采用传统机器学习工具进行分类时需要使用人工特征工程进行预处理, 而分类效果很大程度上取决于特征质量. 传统机器学习模型需要强有力的特 征, 使学者们不得不在特征工程方面花费大量时间. 级联森林使用可变的滑动窗口, 根据预先设定的步长, 在脑电数据上通过滑窗提取原始特征向量. 将原始特征向量送入第一级级联森林并给出每一个样本预测结果, 将所有预测向量拼接形成下一级级联森林的输入. 图4 展示了级联森林对8 064个点的生理时域信号进行多粒度扫描、提取原始特征向量的过程.

(3)感知机(perceptron)

感知机是一种二类分类的线性分类模型, 旨在求出将训练数据进行线性划分的分离超平面, 因此导入基于误分类的损失函数, 利用梯度下降法对损失函数进行极小化, 求得感知机模型.

(4) K近邻算法(K neighbors)

K近邻算法是一种最经典和最简单的有效监督学习方法之一. 给定一个训练数据集, 对新的输入实例, 计算该实例与已知标签样本集的距离并进行排序, 选取排序的前K个值, 计算K个取值中不同标签出现的频率, 频率最大的标签则作为本次分类预测的结果.

(5)支持向量机分类器(SVM)

支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器, 其决策边界是对学习样本求解的最大边距超平面. 与传统机器学习方法不同, SVM建立在结构风险最小化原理基础上, 有简单和可计算性强的优点, 被多个方面广泛应用.

(6)决策树(decision tree)

决策树由决策结点、方案分枝、状态结点、概率分枝和结果点5个要素构成. 使用决策树进行分类时, 首先利用训练集建立并精化一颗决策树, 建立决策树模型. 接着利用生成完毕的决策树对输入数据进行分类, 对输入的记录, 从根结点依次测试记录的属性值, 直到到达某个叶结点, 从而找到该记录所在的类, 最后进行确定分类结果.

3 注意力检测实验结果及分析

本文, 我们主要研究了基于单通道和对称双通道的脑电特征对注意力的检测, 包括对注意力任务, 注意力非集中任务和休息的区分. 我们主要提取了EEG各通道的PSD特征、DE特征和小波特征, 并基于这些特征集合使用了6种机器学习算法进行分类, 包括级联森林, 随机森林, 感知机, K近邻算法, 支持向量机分类器SVM和决策树.

表1展示了6种分类器在注意力集中和非集中任务的二分类中, 基于各单通道特征的被试平均准确度. 由表1可以看出, 全脑各EEG通道的特征(PSD、DE和小波特征)均可实现对我们实验中的注意力集中和非集中任务的区分, 且各个通道的分类结果无明显差别, 平均准确率(6个分类器)在68.74%–71.39%. 在使用的各分类器中, 级联森林和随机森林的分类性能相对较高, 所有通道的平均准确率达76.48%和76.43%. 表2为6种分类器在注意力集中和非集中的分类中, 基于8对左右对称EEG通道获取的被试平均准确率. 由表2可以看出, 每对通道对的平均准确率均在73%以上, 而且级联森林和随机森林的分类准确率最高, 分别为83.09%和82.44%. 对比表1和表2 结果, 基于双通道的准确率相比单通道的均有所提高, 结合左右脑对称双通道的特征有助于提高注意力集中vs. 注意力非集中任务的分类精度.

基于单通道对注意力集中和休息状态的分类结果如表3所示, 我们可以看到, 6种分类器基于单通道特征的平均准确率均在69%以上, 其中级联森林和随机森林的分类性能最优. 通道之间的分类结果无明显差别. 基于左右对称双通道对注意力集中和休息状态的分类结果如表4所示. 对于注意力集中和休息状态的分类, 基于双通道的准确率相比单通道的均有所提高, 每对对称通道在6种分类器的平均准确率均在70%以上. 其中级联森林和随机森林的准确率在83%以上. 通道对之间的准确率相当.

在注意力集中与注意力非集中和放松状态的分类中, 基于单通道和对称双通道的分类结果分别如表5 和表6所示. 6种分类器基于单通道特征的平均准确率均在69%以上, 且通道间的准确率无明显差别. 每对对称双通道在6种分类器的平均准确率为78.64%–80.31%, 6种分类器获得的准确率均比单通道有所提高. 此外, 级联森林和随机森林在基于单通道和双通道的分类中均表现最优, 基于单通道的准确率均在76%以上, 基于双通道的准确率均在83%以上.

如图5(a)所示, 在对注意力集中vs. 注意力非集中、注意力集中vs. 放松和注意力非集中vs. 放松这3种状态的二分类中, 我们发现基于对称双通道的准确率比单通道的高. 在3种状态的分类中, 注意力非集中vs. 放松的分类准确率最高. 而且, 在我们使用的6种机器学习分类器中, 级联森林和随机森林的分类效果最好, 如图5(b)所示.

4 实验结果讨论

本文基于EEG各通道信号的PSD特征、DE特征和小波特征, 使用了6种机器学习算法对注意力集中状态, 注意力非集中状态和休息状态进行了分类, 并对比了基于单通道和对称双通道脑电特征的注意力检测结果. 我们的结果显示, 基于脑电信号的小波特征, 微分熵特征及功率谱特征均可有效区分被试的注意力状态, 6种机器学习分类器的分类准确率均在70%以上. 这说明注意力集中状态, 注意力非集中状态和休息状态的脑电特征有明显的差别. 而且, 我们发现基于对称双通道特征的检测精度明显高于基于单通道特征的检测精度, 这说明了结合左右脑对称双通道的脑电特征有助于提高注意力的分类准确率. 其中, 级联森林和随机森林的分类准确率最高, 均在80%以上. 级联森林对超参数不敏感, 仅在小规模训练也能照常运行, 其适用于并行的部署提高了效率. 随机森林对很多数据集表现良好、不容易发生过拟合、能够很好地处理确实数据且容易并行化, 实现相对简单. 这可能是与感知机、K近邻算法、支持向量机分类器和决策树相比, 级联森林和随机森林拥有较高准确率的原因.

一般而言, 使用更多通道进行脑电图记录可能有助于提高检测的准确率, 但同时会带来更大的计算复杂度. 而基于少量通道的脑电检测系统不单计算复杂度低, 而且对应设备的价格也相对低廉, 方便大众携带. 目前大多数注意力检测研究都是基于单通道或多个通道脑电信号的, 普遍存在准确率不高或计算负担过大的问题. 位于前额叶的Fp1是最常用于注意力测的通道电极. 在基于Fp1单通道的注意力检测中, Liu等人在对教学过程中注意力和注意力非集中状态的识别中, 使用SVM获得对24名学生的平均分类准确率为76.82%^[10]; Aziz等人使用ELM对注意力集中和注意力不集中两种状态进行识别, 得到平均准确率为72.10%^[13]. Peng等人通过选取α和β波的频带功率及其谱熵作为SVM的属性, 获得对20名参与者的注意力和放松状态的平均分类准确率84.80%^[9]. 此外, Li等人基于FPz单通道的脑电数据对8位被试的3种注意力级别进行分类得到的平均准确率达57.03%^[11]. 在基于多通道的注意力检测中, Hu等人通过对10名被试的10 min在线学习的C3, C4, Cz, P3, P4, Pz脑电数据进行特征分析, 获得对高、中、低3类注意力识别的平均准确率(80.84±3)%^[12]. Moon等人使用来自左半球额中央、顶叶、颞叶和枕叶的所有4个或部分通道的区间 EEG 特征的注意力检测模型取得了48.70%的平均准确率^[27]. 王冰冰等人基于4个通道(TP9, TP10, AF7, AF8)的脑电功率谱特征对20名健康受试者的注意力使用随机森林进行识别, 获得74.09%的平均准确率^[26]. 本研究在基于单通道Fp1得到的平均准确率为71.42%, 而基于Fp1/Fp2对称双通道脑电特征得到的对注意力集中和注意力非集中状态的分类平均准确率为74.83%. 与这些同类研究相比, 我们提出的基于双通道脑电特征的注意检测方法相对轻便, 且具有更好的性能(最高准确率87.04%, 基于级联森林的平均准确率在80%以上). 本研究结果是基于大量被试数据(155人)和多种分类器(6种)获得的, 具有较高的可靠性.

然而, 本研究仍然有一些限制. 首先, 基于双通道信号特征的分类精度的提高是由于数据量的提升还是由于对称脑区带来的效果则还需要进一步探讨. 其次, 本研究的注意力检测结果是否能够被迁移到不同任务. 这些都是我们接下来需要进一步研究的问题.

5 总结

注意力是人类心理活动的一种指向, 是人类活动的重要前提. 当下, 注意力检测被广泛用于协助ADHD患者和其他注意力低下人群的评估和治疗. 但是传统的注意力检测研究大多依赖于对行为的观察, 难以精确反映注意力情况. 近年来, 基于脑电信号的注意力检测逐渐兴起, 但目前仍存在检测准确率不高的问题. 本研究通过对155位大学生在注意力集中、注意力非集中和放松3种状态下的脑电信号的分析和识别, 发现脑电信号的小波特征, 微分熵特征及功率谱特征可以有效区分被试的注意力状态, 且基于对称双通道特征的检测精度明显高于基于单通道特征的检测精度. 其中, 级联森林和随机森林的分类准确率最高, 均在80%以上. 本研究提出的基于对称双通道脑电信号的轻便检测方法不但需要较少的电极, 并且对注意力的变化很敏感, 可能为注意力检测提供新的检测手段, 并可用于临床环境中检测注意力缺陷.