1 引言 1.1 研究背景

注意力(attention)是指人的心理活动指向和集中于某种事物的能力^[1], 是人们在生活与实践活动中必须具备的一种重要心理品质. 而青少年的生理和心理发展均处于变化的阶段, 易受外界影响, 从而出现注意力不集中, 学习效率低等问题.

但是, 目前青少年注意力检测和训练的系统功能单一, 检测准确率低, 在对青少年的注意力训练上也呈现出效率低的问题. 熊朝坤^[2]提出基于脑电信号的便携式注意力检测系统, 选取δ、θ、α和β四种节律作为特征值, 并采用BP神经网络分类算法进行分类, 而该系统对注意力的检测结果不稳定, 非注意状态的检测准确率高于注意状态. Sun 等^[3]提出两个基于脑电的神经反馈球游戏, 利用脑电波的θ和β节律区分玩家的不同大脑状态, 训练方式单一且对于脑电特征值只考虑了θ和β节律, 可信度有待提高. 因此, 检测和训练青少年的注意力具有重要的理论研究价值和广阔的应用前景.

1.2 研究现状

(1) 脑电注意力检测的相关研究

传统的注意力检测方法重视脑电信号特征提取. 2008年, Janelle等通过对脑电信号的频谱特征进行分析来确定大脑的注意力水平^[4]. 相较于通过观察θ波和β波能量比值大小来确定注意力的传统方法, 近年来, 在提取脑电信号特征的基础上, 基于深度学习的脑电注意力检测方法能够将注意力进行分类. 2011年, Li等^[5]用K最近邻(K-Nearest Neighbor, KNN)算法将脑电注意力分成了3类, 平均准确率仅有57.03%. 2013年, 路荣等^[6]提出了使用小波变换对获取的脑电信号进行分析, 通过支持向量机(Support Vector Machine, SVM)进行二分类的方法, 注意力分类准确率达72.5%, 但分类少. 目前, 脑电注意力检测的研究有如下难点: ① 注意力检测分类类别少; ② 注意力分类准确率不佳.

(2) 脑电注意力训练的相关研究

国内外训练注意力的方法有很多, 但每种方法都有其局限性, 而闭环脑电生物反馈感知技术作为无刺激、无副作用、训练结果能够长期保持的训练方法, 得到了许多学者的认可. 2002年, 北京大学精神卫生研究所学者姜荣环等^[7]先后对7–15岁的90例患儿进行治疗. 结果显示, 随着脑电训练次数的增加, 儿童注意力在不断提高. 现如今, 结合游戏和脑电信号的注意力训练方法成为研究的趋势和热点. 2014年, Montani等^[8]开发了一款迷宫游戏, 其在独特的非临床环境下能够改善创伤性脑损伤(TBI)患者的注意力. 2019年, Choon等^[9]利用3D游戏对ADHD患者进行干预和治疗, 针对的主要是患者的持续型注意力. 目前, 在脑电注意力训练的研究中, 训练方式单一, 仅针对注意力其中一方面的特性进行训练, 从而导致效率低.

基于此背景, 本文研发了一个基于脑电信号的青少年注意力检测和训练系统, 提出基于随机森林算法改进注意力检测的准确率, 根据注意力的持续性、选择性和集中性分别设计3个面向青少年的严肃游戏训练模式, 提高注意力训练的效率, 同时提供了可视化的反馈界面.

1.3 研究价值

针对以上研究现状, 本文的工作是: ① 研发一个基于脑电信号的青少年注意力检测和训练系统, 并提供可视化的反馈界面. ② 对于脑电注意力检测, 利用随机森林算法改进注意力检测的准确率. ③ 对于脑电注意力训练, 本文首次根据注意力的持续型、选择型和集中型, 分别设计了3个面向青少年的严肃游戏训练模式, 并利用闭环脑电生物反馈感知技术, 以提高训练的效率.

2 系统结构综述

本文提出了一个基于脑电信号的青少年注意力检测和训练系统, 系统总体结构设计如图1所示, 主要由脑电信号处理模块、注意力检测模块和注意力训练模块3个模块组成. 在脑电信号处理模块, 通过OpenBCI脑机接口对脑电信号进行采集, 并利用小波变换对脑电信号进行分析与特征提取; 在注意力检测模块, 基于随机森林算法对注意力进行分类, 主要分成5类: high attention、medium-high attention、medium attention、medium-low attention、low attention; 在注意力训练模块, 根据注意力的持续性、选择性和集中性分别设计了3款面向青少年的严肃游戏, 并提出4个评估指标, 结合自身对照法进行有效性分析, 验证该训练方法的可行性.

3 基于脑电信号的注意力检测与训练 3.1 基于脑电信号的注意力检测 3.1.1 注意力检测的基本流程

在注意力检测模块中, 使用8通道的OpenBCI脑机接口进行脑电信号的采集, 采样率为256 Hz. 对预处理后的脑电数据利用小波变换进行分析与特征提取, 提取好特征值后利用随机森林检测注意力, 如图2所示.

3.1.2 利用小波变换提取脑电信号特征值

在脑电信号分析与特征提取阶段, 利用小波变换从脑电信号中获取功率谱密度(Power Spectral Density, PSD)特征. 小波分析是将时域和频域结合起来的适用于多尺度的时频分析, 连续小波基定义如式(1)所示.

${\psi _{s,a}}(t) = \frac{1}{{\sqrt a }}\psi \left(\frac{{t - s}}{a}\right)$

(1)

其中, ${\psi _{s,a}}(t)$ 表示基本小波的位移与尺度伸缩, 可以用来分析不同时段的信号成分, $s$ 为平移因子, $a$ 为尺度参数, $\dfrac{1}{{\sqrt a }}$ 是归一化因子. 对于信号 $f(t)$ , 连续小波变换及其逆变换公式如式(2)和式(3)所示.

$\begin{split} CWT(s,a) = \int_{-\infty} ^\infty {f(t){\psi _{s,a}}(t){{d}}t} \end{split}$

(2)

$f(t) = \frac{1}{{{C_\psi }}}\int\limits_{ - \infty }^\infty {\int\limits_{ - \infty }^\infty {CWT(s,a){\psi _{s,a}}(t)\frac{{{{d}}a{{d}}s}}{{{{d}}{a^2}}}} } $

(3)

其中, 式(2)是将信号 $f(t)$ 映射成一个时间-尺度的平面函数 $CWT(s,a)$ , $CWT(s,a)$ 表示一维连续小波变换, ${C_\psi } = \displaystyle\int_{ - \infty }^{ + \infty } {({{{{\left| {\psi (t)} \right|}^2}} / {\left| u \right|}}{{d}}u)}$ , $\psi (u)$ 为 $\psi (t)$ 的傅里叶变换^[10].

本文主要采用Daubechies小波变换系数^[11]对脑电信号的特征进行提取. Daubechies小波具有良好的时间局部性, 在给定的支撑宽度N=2A下具有最大的消失矩数, 并且在2A−1个可能的解中, 选择其缩放滤波器具有外部相位的一个^[12]. 其中, Daubechies 4小波兼具正交小波的紧支集和平滑性, 在对非平稳的脑电信号进行分析中有较好的效果. 图3是利用Daubechies 4小波对原始信号进行6层分解的示意图.

图3中, S表示待分解的原始信号, $A(n)\;(n = 1, 2, $ $ 3,\cdots)$ 表示分解后得到的低频信号, $D(n)\;(n = 1,2,3,\cdots)$ 则表示分解后得到的高频信号. 各分量所对应的子频分别与δ、θ、α、β 和 γ 相对应. 每个子带都有明确的物理含义, 分解图如图4所示.

3.1.3 使用随机森林算法进行注意力检测的数据处理过程

本文主要对4个通道(TP9, TP10, AF7, AF8)的脑电信号进行特征提取, 提取的脑电信号节律^[13]为δ (0 Hz<f<4 Hz)、θ (4 Hz<f<8 Hz)、α(8 Hz<f<12 Hz)、β (12 Hz<f<30 Hz)以及γ (30 Hz<f<45 Hz), 共有4×5=20个特征.

利用小波变换提取脑电信号特征值后, 本文使用随机森林算法(Random Forest, RF)^[14]对注意力检测的数据进行分类处理. 随机森林是多个决策树分类器 $\left\{ {\left. {h(x,{\phi _k}),\;k = 1,2,\cdots} \right\}} \right.$ 的集合, 且参数集 $\left\{ {\left. {{\phi _k}} \right\}} \right.$ 是独立同分布的随机向量, 每一棵决策树对输入的特征变量X单独分类, 并且按照分类的结果进行预测, 然后组合多棵决策树的预测结果, 以投票的方式选择得票最多的分类结果作为输出. 整个算法主要包括了两个部分, 决策树的建立和投票过程^[15]. 检测流程如图5所示.

(1) 决策树的建立

随机森林利用自助法(bootstrap)重抽样技术^[16]从原始的样本中抽取出多个样本, 并生成多个决策树分类模型. 决策树的建立步骤如下: ① 采取有放回的抽样方法从 $N$ 个原始训练集中随机抽取一个bootstrap样本进行分析, 重复 $k$ 次. ② 将每个bootstrap样本作为训练集训练一棵决策树, 并作为决策树根节点处的样本. 在决策树的每个节点处需要分裂时, 随机从X个特征变量中选取 $x\;(x \ll X)$ 个特征变量进行计算, 按照节点不纯度最小的原则, 从 $x$ 个特征变量中选取最佳特征变量作为该节点的分支. ③ 决策树的建立过程中, 每个节点均按照步骤 ② 的方式进行分裂, 且不进行剪枝操作.

随机森林在决策树的建立过程中引入了两个随机因素: 一是从 $N$ 个原始训练集中抽取的bootstrap样本, 二是选择决策树节点时随机选取特征变量作为分支. 因此, 随机森林正确率稳定, 不容易过拟合.

(2) 投票

通过不同的样本构建不同的决策树, 增加分类模型之间的差异, 提高分类模型的预测能力. 经过k轮的训练后得到分类模型的序列 $\left\{ {\left. {{h_1}(X),{h_2}(X),\cdots,{h_k}(X)} \right\}} \right.$ , 将它们组合并采用简单多数投票的方法得到最终的分类结果. 分类决策如式(4)所示.

$H(x) = \arg \mathop {\max }\limits_Y \sum\limits_{i = 1}^k {F({h_i}(x) = Y)} $

(4)

其中, $H(x)$ 表示组合后的分类模型, ${h_i}(x)$ 是一个决策树的分类模型, $Y$ 表示目标变量, $F({h_i}(x) = Y)$ 为示性函数.

3.2 注意力训练的原理和实现 3.2.1 注意力训练的原理

本文运用了3种类型的注意力原理和闭环脑电生物反馈感知技术对注意力训练功能进行实现. 其中, 闭环脑电生物反馈^[17]是一项结合心理和躯干的脑电技术, 主要利用操作性条件反射的原理, 通过选择性地增强或抑制特定脑电波活动的频率、位置、幅度或持续时间, 使用户能够在特定条件下保持大脑状态, 并通过训练改善认知功能.

本文提出基于闭环脑电生物反馈感知技术的注意力训练方式, 如图6所示, 以游戏的形式增加用户的兴趣, 让用户在轻松的氛围中提高注意力, 且无不良反应. 同时, 注意力不集中不仅和心理有关^[18], 也和持续型注意力、选择型注意力^[19]和集中型注意力有一定联系. 因此, 本文分别针对注意力的持续性、选择性和集中性设计了3个严肃游戏: “拔河”游戏, “小鸟历险记”游戏和“贪吃的果冻”游戏, 如图7, 图8和图9所示.

3.2.2 注意力训练游戏的实现

用户通过自身的注意力控制游戏, 具体的实现过程如下: 通过脑机接口获取用户脑电信号, 利用随机森林算法进行注意力检测, 将检测后的结果量化为用户在游戏中的注意力水平: high值注意力量化为1, medium-high值为0.75, medium值为0.5, medium-low值为0.25, low值为0. 在持续型游戏中, 只有当用户的注意力水平超过一个特定的阈值时, 游戏中角色的力气才会大于敌人的力气; 进行选择型游戏时, 用户的注意力水平的高低操控着游戏中小鸟角色的飞行方向(向上、向下或水平飞行); 针对集中型游戏, 本文对游戏中的角色赋予了特殊技能, 当用户的注意力集中并达到最大值时, 游戏中的角色便可释放技能.

为提高注意力的训练效率, 我们对游戏图形界面做了如下优化: ① 在界面的展示上, 以青少年为定位设计游戏中的各种背景和角色, 提高用户兴趣. ② 在游戏过程中, 游戏的控制参数以界面中的进度条的形式实时向用户反馈, 构成了游戏的核心: 闭环脑电生物反馈感知. 用户通过注意力控制着游戏中的角色, 同时, 游戏也将用户的注意力程度反馈给用户, 用户通过进度条的长短得知自己的注意力程度后有意识地控制自己的注意力, 进而达到提高注意力的效果.

4 实验与结果分析 4.1 注意力检测方法验证实验 4.1.1 离线实验

本实验选用Personal EEG Concentration Tasks数据集来验证注意力检测的有效性, 随机选取70%的样本作为训练集, 30%的样本作为测试集, 并利用不同的算法对注意力进行五分类, 结果如表1所示.

实验结果表明, 在5个算法中, 随机森林准确率达76.17%, 损失率为23.83%, 召回率为70.61%, 精确率达83.00%, 该结果说明了基于随机森林算法的注意力检测方法具有较高的准确率.

4.1.2 在线实验

图10概述了本文实验的整体流程. 以任务的方式诱发受试者的注意力, 同时记录其脑电信号. 当完成任务后, 要求受试者填写情绪自评量表(Self-Assessment Manikins, SAM)量表的效价维度(valence)以此报告他们的注意力状态, 即high attention、medium-high attention、medium attention、medium-low attention、low attention.

在线实验选取20名身体健康的受试者(50%男性, 50%女性), 年龄范围为8–20岁(平均值=15.95, 标准差=4.63). 本实验中的任务主要有3类: ① 屏幕上出现计算题, 受试者需要在规定时间3 min内计算出答案; ② 受试者在3 min内完成扫雷游戏; ③ 屏幕呈现一篇文章, 受试者在3 min内阅读完毕. 实验过程如下, 首先向受试者介绍valence的含义, 接着每个受试者进行任务, 在每项任务前有10 s的准备时间, 结束后屏幕中央会出现SAM量表, 以收集他们的注意力指标(valence维度), 点击“提交”后, 休息1 min. 在试验期间, 受试者坐在舒适的椅子上, 避免眨眼以及移动身体, 根据指示完成整个实验过程.

在进行测试之前, 需要收集脑电信号数据来进行模型的训练. 3个任务为一组实验, 我们收集了每个受试者10组的实验数据, 并使用OpenBCI脑机接口以256 Hz的频率收集脑电信号, 每4 s作为一个时间单元, 以50%的重叠率进行采样. 然后移除存在较多伪影的前4 s和后4 s的脑电信号. 最后通过比较预测结果和真实标签来统计准确率.

4.1.3 结果分析

图11展示了20个受试者在测试过程中分别采用5种算法进行注意力检测的准确率. 表2展示了测试过程中各种算法的平均准确率. 从表2可以看出, 对于注意力检测的在线实验, 随机森林的准确率显著优于其他方法(P<0.05).

4.2 注意力训练方法结果及分析 4.2.1 实验步骤

本实验选取10名身体健康的受试者(50%男性, 50%女性), 年龄范围为8–18岁(平均值=12.5, 标准差=4.32), 采用自身对照法(self-controlled study)验证训练方法的有效性. 自身对照是指将每名受试者在进行训练前、后的测试结果进行自身比较^[20], 具有良好的可比性和较高的可信度. 实验期间, 每位受试者安静地坐在椅子上, 避免过多的移动, 对实验的结果造成影响.

每位受试者进行3次实验, 在第一次实验前和每次实验后, 每位受试者均需要完成一次5×5的舒尔特方格量表, 并记录下完成所需的时间和该时间段内的脑电信号. 每个实验由3个阶段组成: 准备阶段、训练阶段和休息阶段. 准备阶段持续3 s, 在此期间受试者需要主动避免注意到屏幕中的游戏; 在训练阶段, 先进行持续型注意力训练, 记录受试者通关所需的时间, 再进行选择型注意力训练, 记录受试者失败时的分数, 最后进行集中型注意力训练, 记录受试者释放技能的次数. 休息阶段是持续5 s的放松时间, 在此期间, 受试者可以将注意力从屏幕上转移.

4.2.2 有效性分析

针对10名受试者, 主要有以下评估指标:

(1) 完成舒尔特方格量表的时间;

(2) 持续型游戏获胜需要的时间;

(3) 选择型游戏失败时的得分;

(4) 集中型游戏中释放技能的次数.

10位受试者第一次实验前和每次实验后完成舒尔特方格量表所需的时间如图12所示; 图13(a)–图13(c)分别展示的是10位受试者每次实验持续型游戏获胜需要的时间、选择型游戏失败时的得分、集中型游戏中释放技能的次数.

从图12和图13中可以看出, 受试者完成舒尔特方格量表的时间显著降低, 持续型游戏获胜需要的时间不断降低、选择型游戏失败时的得分有所增加、集中型游戏中释放技能的次数明显增加, 4个指标均有显著变化(P<0.05). 出现这样的结果可能有两个原因: (1) 因不断地训练, 受试者对游戏环境的熟悉程度逐渐增加; (2) 闭环脑电生物反馈感知技术的有效性. 为探究闭环脑电生物反馈感知技术对3次实验的影响, 我们另外设计了一个实验. 在相同受试者的基础上, 我们删除了第3次实验游戏中脑电生物反馈的相关元素, 即游戏界面中的用于显示受试者注意力水平的进度条和背景音效. 其中,图14展示了前3位受试者每次实验的4个评估指标的结果. 为便于比较, 我们将指标2的值缩小了10倍.

由于受试者对游戏愈加熟悉, 即使没有脑电生物反馈, 注意力虽在一定程度上也有所提高, 但在没有脑电生物反馈的情况下, 4个指标的变化率远低于使用闭环脑电生物反馈感知技术的变化率.

4.2.3 注意力训练方法比较与分析

注意力训练的相关研究有很多. 2020年, Yoshida等^[21]采用包含300种刺激的假随机呈现的3组听觉Oddball范式, 提出基于脑电信号的专注冥想(Focused Attention Meditation, FAM)方法进行注意力的训练, 通过对比脑电信号在Oddball任务、静息状态和FAM前后8周的结果, 证明了FAM训练的有效性. 2019年, Shereena等^[22]采用脑电神经反馈训练方式设计训练任务, 通过增强β波抑制θ波, 从而改善ADHD儿童的注意力, 同时利用神经心理学测试、行为测试等评估方法对训练效果进行评估, 表明脑电神经反馈训练方式能提高ADHD儿童的注意力, 可作为其治疗方案.

而本文基于闭环脑电生物反馈感知技术, 并根据持续型、选择型、集中型注意力分别设计3个严肃游戏, 同时, 将注意力检测的5个分类量化结果作为操控游戏的控制参数. 为验证该控制参数的准确性, 通过第一次实验前和每次实验后进行的舒尔特方格的时间和脑电信号进行分析. 完成舒尔特方格的时间越短, 说明注意力越集中, 注意力检测结果越高; 反之, 注意力集中程度和检测结果越低. 表3展示了前3位受试者完成舒尔特方格的时间和注意力检测结果的对比. 其中, $T(n)$ 表示受试者 $n$ 完成舒尔特方格的时间, $D(n)$ 表示受试者 $n$ 注意力检测结果.

综上, 本文在注意力训练方面的贡献如下:

(1) 根据持续型、选择型和集中型注意力, 多角度、有针对性地设计严肃游戏.

(2) 将注意力检测结果进行量化, 并作为控制参数操控对游戏进行操控, 且具有一定准确性.

(3) 提出基于闭环脑电生物反馈感知技术, 利用注意力的3大特性设计的严肃游戏作为训练注意力的方法.

(4) 提出4个指标对受试者进行实验, 并验证该方法的有效性.

5 总结

本文基于脑电信号研发了一个青少年注意力检测和训练系统, 提出了基于随机森林的注意力检测方法和基于严肃游戏与闭环脑电生物反馈感知技术的注意力训练方法. 本文进行的实验可验证注意力检测模型的准确性和训练模型的有效性, 一定程度上保证了系统的稳定性和有效性.

在现有研究的基础上, 对于严肃游戏训练注意力的研究可以更加深入, 如考虑受试者的耐受性状态; 结合眼电、肌电等其它生理信息进行比较, 使得分析的结果更加全面. 近年来, 闭环脑电生物反馈感知技术凭借其无创伤、副作用小的优势正逐渐发展为提升注意力的一种有效的训练工具, 而基于严肃游戏的脑电注意力训练方法可以一种潜在的ADHD患者的新疗法.