重度神经肌肉疾病或肌萎缩侧索硬化症、脊髓损伤等神经障碍疾病会使患者的肢体肌肉受限甚至可能丧失自主控制能力^{[1, 2]}. 而此类患者的大脑认知却是完好无损的, 因此可通过脑机接口技术进行辅助治疗. 脑机接口(brain-computer interface, BCI)是一种新型的人机交互技术, 可以不依赖于患者受损的外周神经及肌肉组织, 通过大脑和外部智能机械臂之间直接进行信息和指令的传输, 让患者控制外界设备对障碍肢体进行运动康复训练^{[3, 4]}, 以此来刺激脑的重塑, 使患者重新获取障碍肢体的自主控制能力. 陈小刚等人^[5]通过设计结合增强现实(AR)脑机接口和计算机视觉的高级控制体系结构, 控制机械臂执行拾取和放置任务. 吴浩镇等人^[6]采用基于稳态视觉刺激的BCI获取脑电信号, 通过对采集视觉刺激诱发的脑电信号进行降采样滤波, 利用CCA将数据进一步分析转化为机械臂的控制信号, 以此控制机械臂进行运动. Hayta等人^[7]根据国际10-10系统, 从头皮上的64 个位置记录脑电图(EEG)信号. 研究了基于3类电机图像的BCI的配置参数优化, 用于控制平面中的六自由度(DOF)机械臂.

通过脑机接口技术来控制机械臂辅助肢体障碍患者完成日常简单的任务, 将会提高他们的神经康复训练效果. 运动想象(motor imagery, MI)是一类重要的脑机接口范式, 在肢体运动功能障碍的康复训练中具有潜在的应用价值^[8], 目前已经有研究人员成功将患者的运动想象意图解码用于机械臂的控制. 但是由于脑电信号比较微弱, 并且在采集过程中易产生大量的干扰信号, 如果患者想要使用脑电信号精准控制机械臂, 这将变得十分困难. 邓欣等人^[9]针对脑机接口系统信号的复杂性和输出控制指令较少的问题, 提出了融合运动想象脑电与眼电信号方法扩充控制指令的轻量级机械臂控制系统. 将双次眼电作为任务开关, 单次眼动控制阶段切换, 通过运动想象生成多种控制指令, 以此控制机械臂运动. 曲思霖等人^[10]针对运动想象脑电信号实现任务少、识别准确率低等问题, 提出了基于小波包分解的共空间模式脑电信号特征提取方法. 通过识别的脑电信号作为解码控制信号, 控制机械臂抓取空间中目标物体. 尹悦等人^[11]设计想象左、右手两指令的运动想象脑机接口范式, 控制外骨骼运动, 实验结果识别正确率为70%, 验证了设计的外骨骼控制系统的有效性. Ak等人^[12]提出了一种用于BCI的运动想象脑电图信号分类的新方法, 通过频谱图方法后进行深度学习, 来控制机械臂的运动. Xu等人^[13]研究提出了一种基于触觉反馈的基于运动图像脑电的连续遥控机器人控制系统, 实验结果表明, 利用无线便携式设备获取的脑电图实现连续遥控机器人控制系统完成伸展和抓取任务的可行性.

本文为降低干扰和提高识别率, 对传统实验范式进行改进, 采用非侵入式脑机接口技术和操作相关图片视觉引导方式进行运动想象实验, 结合特定任务, 采集被试者脑电信号. 通过陷滤波和带通滤波对脑电信号进行处理, 并设计了一种基于多尺度特征并行融合的卷积神经网络方法^[14]进行脑电意图分类识别. 将识别的标签转换成供机械臂识别的指令, 完成对机械臂特定任务操作的控制.

1 信号采集与预处理 1.1 脑电实验设计

本文使用北京津发科技股份有限公司提供的ErgoLAB人机环境同步平台脑电测量系统进行脑电实验的设计和脑电信号的实时采集. 脑电实验设计采用操作相关图片视觉引导方式进行运动想象实验, 并设计了机械臂的6个操作动作, 图1依次是“下降”“抓取”“上升”“左转”“放置”“放置”和“右转”, 进行信号采集.

1.2 脑电信号采集 1.2.1 采集设备

脑电信号领域目前已经被广泛使用的非侵入式采集方法有多通道电极EEG方法、脑电图、磁共振成像、近红外光谱和磁脑电图等^{[15, 16]}. 目前, 临床实验中是以美国临床神经生理学会制定的10-20标准导联、10-10标准导联和10-5标准导联最为常见^[17].

因此本文将引用10-20标准导联系统建议的电极位置为基准展开实验, 同时表1是选用 Desai^[18]的标准将脑电信号依据其频率分为5个不同波段. 采用半干式电极设备, 图2是集精度与便携一体的32导水电极设备. 相比于干电极而言, 它采用少量的液体电解质, 就可以达到相对较低的阻抗并获得高质量的脑电信号. 这种测量方式, 可以保证采集较高的脑电信号质量. 其采样频率高达256 Hz, 分辨率为24 bit, 支持信号可编程放大. 并使用无线蓝牙模块, 进行无线数据传输.

1.2.2 信号采集

15名无任何病史且身体健康的受试者, 签署知情同意书. 舒适地坐在安静的环境中, 依靠大脑想象支配肢体完成运动, 在图片视觉引导想象实验的过程中, 肢体保持静止, 不做出实际运动. 图3是受试者在进行特定任务运动想象, 此过程会产生活跃的脑电信号, 通过脑电帽采集脑电信号的同时使用软件对脑电数据进行记录.

1.3 脑电信号通道选择

本文选择的是医用级32导联水电极脑电帽, 通过在不同的电极位放置湿润海绵条, 使电极充分与头皮进行接触, 采集脑电信号. 为了避免设备中湿润海绵条在使用过程中由于水分蒸发导致信号传输质量下降的情况, 本文设计了多组预实验来考察海绵条水分蒸发情况, 预实验的实验数据不会纳入样本中^[19]. 预实验结果表明, 完成设备穿戴后大约2 h会出现电极与海绵接触不良的情况, 设备传输脑电信号下降, 预实验结束. 根据上述预实验结果以及被试者反馈, 实验在穿戴好设备之后1 h内效果最好, 因此本文确定了实验的时长是1 h.

在预实验中发现, 由于个体颅骨形状差异导致部分电极位置上无法充分和被试者头皮进行接触. 因此, 为了系统稳定性通过预实验确定了实验时长最长为1 h, 同时排除部分接触不良的电极, 分别为: F7、F8、T7、T8、P7、P8、O1、Oz和O2, 图4中F7、F8、T7、T8、P7、P8、O1、Oz和O2表示被排除的电极, A1和A2表示参考电位电极. 其中脑电信号的零势能点是一个夹在耳垂部分的额外电极, 是脑电采集设备的电势校准点, 仅用于采集系统内部计算头皮上32导电位的相对电势差, 后续不会在处理中使用到这两个电极通道^[19].

1.4 脑电信号预处理

脑电信号是一种不稳定的5–100 Hz低频生物电信号, 易受到其他生物信号和伪迹噪声的干扰, 并且在使用脑电仪、电脑等电子设备进行数据采集时, 不可避免会产生工频干扰. 没有经过任何处理的EEG数据会受到很多伪迹的干扰, 这些干扰信号无疑会使EEG信号分析更加复杂, 也不能更好地反映大脑的思维活动, 为了避免增加工作量, 在提取之前需要将其剥离^[20]. 干净的EEG数据预处理是分析结果准确的必要前提, 数据预处理的好坏会影响后续的分析结果. 目前大多数预处理方法为公共空间模式(CSP)、主成分分析(PCA)、公共平均参考(CAR)、表面拉普拉斯(SL)、自适应滤波^[15]、独立成分分析(ICA)和数字滤波器等.

为了更容易地识别出大脑活动诱发的脑电信号, 需要使用合适的滤波器去除噪声干扰. 滤波器是根据设置的要求让需要的频段的信号通过, 抑制不需要的频段的信号. 带通滤波器只让指定的范围频段内的信号通过, 其他频率的信号都抑制掉; 而带陷滤波器(也称为带阻滤波器)则是抑制特定频段的信号, 其他频率的信号都通过的滤波器.

因此, 本文首先采用1–40 Hz的带通滤波和会替代高通滤波的陷滤波对50 Hz市电干扰进行过滤^[21], 对原始脑电信号数据进行滤波处理, 同时去均值光滑处理. 图5展示了被试者在2 s间进行特定任务抓取的滤波处理后的脑电信号图. 在休息阶段被试者脑电信号波形图会处于较平缓状态, 由图5中00:06:18.000之前的波形图可以看出. 00:06:18.000之后开始缓慢产生波动, 00:06:19.000–00:06:21.000期间产生剧烈波动. 通过波形图可以得出被试者正在进行运动想象脑电实验所产生的脑电信号波动. 经过滤波处理后的部分通道波形图效果较光滑, 达到预期目标.

1.5 特征提取

经过滤波处理后的脑电数据就可以进行特征提取, 特征能够代表一个信号的固有模式, 是信号处理及分析任务中的常规手段. 脑电信号是一种非平稳的随机信号, 一般来说, 随机信号的持续时间和总能量是无限的, 但是它的平均功率是有限的, 因此, 在脑电信号特征应用方面要对随机信号的频域进行分析, 由此看来, 功率谱的研究是必不可少的, 功率谱密度目前常被研究者作为脑电研究中的一种重要特征^{[22, 23]}.

本文采用Welch法估计功率谱, 该方法首先将长度N的数据x(n)分成L段, 每段有M个数据, 第i段数据表示为:

$ \begin{split} {x_i}\left( n \right) =& x\left( {n + iM - M} \right)d\left[ {n + \left( {i - 1} \right)M} \right], \\ & 0 \leqslant n \leqslant M, 1 \leqslant i \leqslant L \end{split} $

(1)

其中, d[]表示矩形窗. 然后, 将窗函数w(n)加到每一个数据段上, 求出每一段的周期图, 第i段的周期图如式(2)所示, 其中U为归一化因子, 可通过式(3)求得. 假设每段周期图互不相关, 故最后的功率谱估计如式(4)所示. 相关研究表明, Welch法为渐进无偏估计, 其方差与M有关, 估计方差为周期图方差的1/L.

$ {I_i}\left( \omega \right) = {\left. {\left. {\frac{1}{{MU}}} \right|_{n = 0}^{M - 1}{x_i}\left( n \right)w\left( n \right){{\rm{e}}^{ - j\omega n}}} \right|^2}, 1 \leqslant i \leqslant M - 1 $

(2)

$ \begin{gathered} U=\frac{1}{M} \sum_{n=0}^{M-1} w^2(n) \\ \end{gathered} $

(3)

$ P_{x x}\left({\rm{e}}^{j \omega}\right)=\frac{1}{L} \sum_{i=1}^M I_i(\omega) $

(4)

本文基于Welch法计算滤波后脑电信号以及δ, θ, α, β和γ频段的功率谱密度, 在计算不同频段的功率时, 可通过式(5)所示, 计算该频段功率密度的和, 即相应功率密度曲线对应频段内的面积, 其中, psd(f)表示功率谱密度函数, f表示信号的频率.

$ \left\{\begin{array}{l} P_\delta=\int_1^4 p s d(f) d f \\ P_\theta=\int_4^8 p s d(f) d f \\ P_\alpha=\int_8^{13} p s d(f) d f \\ P_\beta=\int_{13}^{30} p s d(f) d f \\ P_\gamma=\int_{30}^{40} p s d(f) d f \end{array}\right. $

(5)

本文选取被试者在想象抓取任务和休息时的C4通道进行PSD分析, 抓取任务和休息的总功率图分别如图6、图7所示, PSD功率谱图分别如图8、图9所示.

图6和图8显示的是被试者在休息时, θ, α, β和γ频段的功率偏低, 而δ频段的功率有些偏高, 可能是被试者在休息时眨眼造成的. 但整体呈现平静状态, 说明被试者没有进行运动想象实验. 与此同时, 图7和图9显示的是δ, θ, α, β和γ频段的功率整体偏高, 被试者的脑区呈现活跃状态, 活跃状态由蓝色到红色程度由低到高, 说明被试者正在进行运动想象实验.

2 多尺度特征融合卷积神经网络

目前用于识别脑电信号的分类器主要划分为结合机器学习的经典分类器和结合深度学习技术的神经网络分类模型. 相比于传统的机器学习分类器, 基于深度学习网络的分类模型则对数据分类更为高效. 典型的基于深度学习的分类网络为卷积神经网络. CNN的结构类似于视觉神经系统结构, 是一个多层的神经网络结构. 其中输入层用于接收数据, 卷积层、池化层和全连接层共同构成CNN的隐含层, 也就是CNN的核心层, 用于数据的计算和分析. 最后的输出层输出数据分析和判定的结果.

通过对传统机器学习分类模型和神经网络分类模型的分析可知, 现有的传统机器学习分类模型虽然对数据样本直接分类较强, 但其学习能力有限, 泛化不高. 因此, 为获取较为丰富的脑电特征信息, 本文使用基于多尺度特征并行融合的卷积神经网络方法进行分类^[14], 以获取图像各层级不同尺度特征加强网络分类效果. 模型主要由特征提取、多尺度特征融合以及模式识别3个单元组成, 图10是整体结果模型图.

2.1 特征提取单元

特征提取单元将脑电数据作为输入, 输入特征大小为(n, 512, 23), 其中n为样本量, 512为提取2 s的脑电数据, 23是选取的通道数. 采用不同尺度卷积核并行提取信号不同分辨率的空间信息. 本文分别对输入特征图使用3、5不同尺度卷积核进行提取, 第1个卷积层的卷积核大小为5×5, 步长为2; 第2个卷积层的卷积核大小为5×5, 步长为1; 第3个卷积层的卷积核大小为3×3, 步长为1.

通常情况下, 在同一时间大约有1%–4% 的神经元是处于活跃状态的, 为了提高神经元的活跃状态. 因此, 本文在每个卷积层之后加入激活函数层ReLU, 使用修正线性单元(即线性整流)的神经网络中大概有50% 的神经元可以处于激活态. 与此同时, 本文还选择最大池化层降低数据维度并保留主要特征信息以及使用归一化层, 防止训练过程中出现过拟合现象.

2.2 多尺度特征融合单元

多尺度特征融合单元保证网络同步提取细节和全局特征, 该部分将特征提取单元的输出作为输入, 在保证特征多样化表达的同时进行融合, 设计池化层来参与融合特征向量的维度^[14], 第1层池化核大小为3×3, 步长为2; 第2层池化核大小为2×2, 步长为2; 第3层池化核大小为2×2, 步长为1, 输入到融合层中进行特征融合.

2.3 模式识别单元

模式识别单元是在多尺度特征融合单元之后, 把融合后的特征输入进行识别, 而N分类的识别准确率是在全连接层与Softmax分类器进行输出^[14], 表达式为:

$ A_j({\textit{z}})=\dfrac{{\rm{e}}^{{\textit{z}}_j}}{\displaystyle\sum_N {\rm{e}}^{{\textit{z}}_N}} $

(6)

其中, z_j为第j个类别的线性概率; z_N为N个类别的线性概率之和; A_j(z)为类别归一结果.

全连接层一般位于多个卷积层和池化层之后, 输出层之前. 主要就是连接所有输入特征, 生成特征列向量. 此外, CNN的最后一个全连接层还可以对特征向量进行降维, 得到与分类类别相对应的特征向量. 在全连接层中对输入特征的操作同常规神经网络类似, 先进行矩阵乘法, 再加上偏置的运算, 最后通过激活函数的非线性变换来得到其列向量. 最后一个全连接层来说只进行线性计算, 之后在输出层使用分类函数进行非线性变换, 因此最后一个全连接层和分类函数可合称输出层. 对于全连接层来说, 其神经元数量越多, 网络的拟合能力就越强, 由于参数冗余带来的过拟合风险也越大, 因此, 一般会在全连接层后会进行正则化或 Dropout的操作来避免过拟合的发生.

3 机械臂控制及结果分析 3.1 数据集设置

本文采用15名被试者总共做了1800次实验, 每次实验的总时长是36 s, 其中休息准备阶段3 s, 机械臂动作想象时长分别为3 s. 实验中, 设备采集数据的采样频率为256 Hz, 采样方法选取任务动作的0.5–2.5 s 范围的数据, 即每个事件的数据窗口设置为2 s, 每个序列数据样本为512行. 根据脑电信号通道选择, 排除部分干扰通道. 最终确定数据集大小为 (n, 512, 23), 其中n为样本量, 512为提取2 s的脑电数据, 23是选取的通道数. 标签设置根据6组不同的特定任务, 将前3组归为抓取任务标签, 后3组归为释放任务标签.

3.2 模型训练

本文使用的设备配置为32 GB内存, Titan V GPU和i7处理器. 随机选取数据集的70%为训练集对多尺度特征融合模型进行训练学习, 30%为测试集. 设计的学习率为0.01, 迭代次数为200次, 并加入L2正则化提高泛化能力, 防止网络过拟合, L2正则化设置为0.0001. 通过设置对应任务标签进行模型训练.

3.3 机械臂系统调试

本文选择以树莓派作为系统的主控芯片, 来控制机械臂运行. 为了避免机械臂系统的问题导致机械臂不能完成特定任务抓取和释放, 因此, 本文在使用脑机接口控制机械臂之前对机械臂系统进行测试, 图11是对机械臂系统的测试图. 测试结果显示, 机械臂的各个动作都能正常执行, 达到预定要求, 可以进行脑电测试实验.

3.4 机械臂运行

本文通过完成特定任务的脑电测试数据作为动作意图输入, 输入到训练好的模型中, 依次得出分类结果, 根据不同的分类结果, 将其解码成控制机械臂的指令, 完成机械臂的抓取和放置操作, 图12展示了机械臂完成抓取和释放的动作过程, 通过脑电测试, 机械臂能识别出脑电信号并完成抓取任务的一系列操作.

3.5 识别率分析

根据机械臂动作识别结果我们可以判断出机械臂的识别率, 并且计算出不同动作所训练出来的平均识别率见表2. 结果分析可知, 机械臂的平均识别率能达到82%以上, 基本达到了预期效果.

4 结论

本文通过32导脑电帽采集脑电信号, 使用带通滤波、陷滤波进行信号预处理以及利用频谱图提取特征, 结合多尺度特征融合的卷积神经网络进行训练学习. 最后, 利用特定任务的脑电数据对模型进行测试, 测试的机械臂识别率达到预期效果.

机械臂抓取任务的脑电分类方法研究意义重大, 然而要实现这一系统还需要解决一系列技术难题, 其中最关键的技术就是设计自然的运动想象任务模式并进行有效的解码. 本文针对这一关键技术, 开展面向机械臂控制的运动想象脑电识别研究, 为机械臂抓取任务的脑电分类提供了一种新思路.