根据国家统计局数据统计分析, 我国的老年人口抚养比持续上升, 并保持在较高的水平上^[1]. 在2020年时, 我国老年人口抚养比为19.02%, 而其中有部分老年人行动不便, 需要使用轮椅等设备代步. 此外, 《国家残疾预防行动计划(2016–2020年)》称, 我国共有残疾患者约8 500万, 占总人口的6.3%, 平均16人中就有一个残疾患者, 并且其中肢体残疾人群占约30%. 由此可见, 在不久的将来, 老年人和残疾患者的日常护理任务会成为家庭乃至社会的一大负担, 此时, 如果有一种能够使用简单动作即可控制的智能轮椅, 可以在一定程度上减轻这一负担. 随着科学技术的发展, 人们已经实现了通过遥控、语音、手势、生物电信号等交互方式来控制外部设备, 若将这些这种控制技术用于改善对老年人和残疾患者的看护, 可以帮助这两类人群更加方便、自主且有效地与外界进行交流.

目前, 脑机接口技术得到了研究者的广泛关注并迅速发展, 越来越多的研究人员展开了基于脑电信号控制设备的研究, 但单独利用脑电信号控制设备时, 由于脑电信号的不确定性、随机性和微弱性, 信号识别准确率和控制响应速度也会随之下降, 此时, 若能综合利用多种信号, 将不同信号相互组合, 为多模式动作控制的实现提供了可能性. 因此, 本文提出一种生理信号控制设备的方案, 该方案基于脑电信号和肌电信号结合共同作为控制信号源, 经过信号的预处理、特征提取和模式分类后, 控制轮式小车的运动状态. 相比于脑电信号, 肌电信号具有辨识度高、信噪比高和易于检测等优点, 可以很好地配合脑电信号控制小车运动. 该方法在一定程度上改善了单一信号源控制模式过少, 实用性不强的问题, 具有一定的研究意义.

本文的主要贡献如下:

(1) 提出一套基于脑电信号和肌电信号的协同控制方案, 综合利用脑电信号和肌电信号两种生理信号, 协同控制小车进行平面上的移动. 该方案允许用户仅通过简单的头部动作, 即眨眼、左咬合或右咬合和专注4种简单动作, 控制小车前进、后退、停止、左右转向和速度状态. 与其他相似的控制方案相比, 该方案还为用户提供对后退和速度的控制功能; 此外, 该方案规定前进、后退和停止3种状态为小车的基本运动状态, 用户仅通过一个常用的头部动作, 即眨眼来控制小车在3种基本运动状态中切换; 而对于转向状态控制而言, 该方案考虑到控制动作与实际运动方向的一致性和实际易用性, 通过常用的头部动作, 即左咬合和右咬合来控制小车的左转向和右转向. 这种简单控制动作的设计使用户的控制难度更低, 控制准确度更高.

(2) 实现了一个基于脑电信号和肌电信号的协同控制系统, 虚拟小车平台(PC端)和实体树莓派小车构成了该系统的应用矩阵, 用户可利用本文所提出的协同控制方案控制虚拟小车和实体树莓派小车进行平面上的运动.

1 国内外研究现状 1.1 脑电控制研究现状

脑机接口系统是一种不依赖大脑正常的传输通道(即外周神经系统和肌肉组织)的通讯系统^[2], 其通过侵入式或非侵入式脑电信号监测技术, 将大脑中神经电信号能实时、准确地通过BCI系统转换成可被计算机识别的命令或操作信号, 为大脑与外部世界提供直接的交流方式, 实现大脑对外部设备的控制.

多名学者与研究团队将脑电控制应用于小车或轮椅中. Lin等^[3]提出了一种脑机接口系统, 从脑电波中提取脑电图和眼睛闪烁信号, 将其转化为驱动电动轮椅的控制信号, 基于此设计了一款针对瘫痪患者的电动轮椅. Zhang等^[4]开发了一种基于运动想象与P300的脑机接口系统控制轮椅的启停, 控制精度达到 (92.0±4.4)%. Rebsamen等^[5]利用P300电位的这一特性设计出了具有自主导航功能的智能轮椅, 其中在控制轮椅移动的准确率有70%左右. 徐宝国等^[6]研究左右手运动想象脑电信号实现了对机器人的控制, 20个受试者3种不同运动想象动作的控制机械手的平均准确度分别为85%, 88%和90%. 陈启超^[7]基于稳态视觉诱发电位(SSVEP), 设计了一个便携式脑机接口系统, 利用该系统控制智能小车的运动方向, 其平均准确率接近90%.

1.2 肌电控制研究现状

肌电生物机械接口的原理是通过对肌肉运动产生的肌电信号进行特征解码来识别出不同的动作模式^[8]. 与脑电信号类似, 肌电信号也能够转换成可被计算机识别的命令或操作信号, 控制外部设备进行相应的运动. Muhammad等^[9]将肌电信号传感器、加速度计和陀螺仪集成于一个臂带设备中, 利用臂带检测肌电信号和手势, 进而用来无线控制机器人汽车. 余威^[10]基于运动想象脑机接口技术实现对智能小车的控制, 通过想象左右手的运动控制轮椅进行左右转向, 其准确率基本维持在70%以上; 而前进则是通过肌电信号进行控制, 准确率保持在85%以上. 张毅等^[11]基于SVM多分类技术的肌电辅助脑电设计了智能轮椅控制系统, 通过想象左右手脚的运动控制轮椅做出相应的动作, 以此实现结合肌电信号多分类技术控制轮椅, 但是响应速度较慢. 晋晓飞^[8]把脑电信号与肌电信号结合设计出智能小车的控制及避障系统, 其脑电信号动作识别率达到91.67%, 肌电信号动作平均识别率达到88.33%以上.

总的来说, 随着社会需求的增大以及生物电信号中各种算法和硬件技术的发展, 不少研究者开始研究使用生物电信号控制设备, 但目前的研究主要存在以下问题: (1) 目前研发的设备控制系统的控制准确度和控制响应速度仍然有待提高, 否则不足以很好地进一步应用于实际生活中; (2) 控制系统的控制动作较为复杂, 使用成本和控制难度较高, 用户往往需要在使用前进行较为长时间的训练和尝试使用, 否则可能难以轻松地熟练并掌握系统的控制方法; (3) 可供用户控制的动作较少, 用户无法更好地控制设备进行运动.

2 系统总体设计

本系统以多模态信号协同控制系统为核心, 按功能分为信号采集模块、数据处理模块、命令编码模块和驱动控制模块4部分. 系统功能结构图如图1.

信号采集模块需要对脑电信号和肌电信号进行采集. 其中脑电信号通过Mindwave脑电信号采集耳机检测并采集设备佩戴者前额的脑电信号; 肌电信号则通过两个相同的肌电传感器进行检测和采集, 将两个肌电传感器分别放置于面部两侧咬肌处, 采集设备佩戴者左右咬合时产生的肌电信号. 该模块采集到的脑电信号和肌电信号原始数据将输出至数据处理模块进行进一步处理. 如图2和图3所示分别是本文采用的脑电信号和肌电信号采集设备.

数据处理模块需要处理从信号采集模块传输而来的脑电信号数据和肌电信号数据. 对于脑电信号数据, 需要进行一系列信号预处理操作, 得到用于判断眨眼信号的脑电信号, 同时经由TGAM芯片的专注度计算算法, 输出专注度属性值; 对于肌电信号数据, 则通过标准差算法计算肌电信号数据离散情况. 该模块处理将原始信号数据处理后得到的结果输出至命令编码模块, 生成相应的控制命令.

命令编码模块需要基于数据处理模块传输的数据, 通过阈值法匹配控制命令的生成条件, 根据匹配的结果生成相应的控制命令, 以对小车进行驱动控制. 对于脑电信号, 此模块根据专注度属性值进行阈值匹配, 判断是否生成小车运动速度控制命令, 根据脑电信号强度进行阈值匹配, 进一步区分用户是否处于眨眼状态, 根据匹配结果判断是否生成小车基本运动状态(前进、后退、停止)改变控制命令; 对于肌电信号, 则根据肌电标准差数值进行阈值匹配, 判断两侧咬肌的咬合状态, 生成小车转向控制命令. 该模块生成的控制命令将输出至驱动控制模块, 相应地控制小车的运动状态.

驱动控制模块根据命令编码模块生成的控制命令, 驱动操作对象做出相应的运动状态变化. 此模块目前所包含的操作对象有基于Qt开发的虚拟小车平台和搭配了树莓派4B主板的四轮蓝牙小车. 虚拟小车平台是一个使用Qt编程实现的程序, 主要功能为通过本文所提出的控制方案控制该程序界面中的小车进行模拟运动, 旨在帮助用户更好地了解、联系和掌握该控制方案的控制动作. 虚拟小车和实体树莓派小车均能实现前进、后退、左右转向、速度控制以及停止功能. 虚拟小车平台和实体树莓派小车如图4和图5所示.

各功能模块之间的交互模式如图6所示.

3 控制流程设计

为了更好地通过脑电信号和肌电信号来控制小车移动, 本文将小车的运动状态划分为前进、后退和停止3种基本运动状态, 左转和右转两种转向状态以及低速、中速和高速3种运动速度状态. 其中, 前进、后退、停止和运动速度由脑电信号部分进行控制, 而左转和右转状态则由肌电信号部分进行控制. 从原始信号的产生到控制小车进行移动之间遵循一套基于脑电信号的处理流程和基于肌电信号的处理流程, 需要完成以下任务.

(1) 信号采集. 将信号采集设备的传感器佩戴于正确的位置中采集原始生物电信号. 对于脑电信号, 将Mindwave脑电信号采集耳机的前额传感器贴于前额眼睛上方的Fp1通道处, 并将采集耳机的耳夹夹于右耳耳垂处, 作为参考点和地线点, 采集脑电原始信号; 对于肌电信号, 本文将两个肌电传感器分别贴于面部左右两边的咬肌处, 获取两侧咬肌肌电原始信号.

(2) 信号预处理. 将采集的原始信号进行预处理, 输出可被解析的信号数据.

(3) 信号数据解析. 将信号数据解析为生成控制命令所需的数据, 如脑电信号强度、专注度、肌电信号强度及其标准差等.

(4) 控制命令匹配及生成. 将解析后的数据与相应的控制命令生成条件进行比较匹配, 若满足条件, 则生成相应的控制命令, 并将控制命令传输至待控制设备中, 控制设备改变运动状态.

(5)设备动作响应. 驱动控制模块的设备接收控制命令, 根据控制命令相应地改变设备的运动状态.

系统的详细控制流程图如图7所示.

3.1 信号预处理

不管是脑电信号还是肌电信号, 在采集其原始信号后均需要进行以下处理, 最终得到脑电信号数据和肌电信号数据.

(1) 初级放大信号. 对于类似于脑电信号等微弱信号的检测仪器或设备, 前置放大器是主要部件之一, 本文在获取原始脑电信号和原始肌电信号后, 需要使用一个前置放大电路对其进行初级放大处理.

(2) 带通滤波. 由于脑电信号的频率大多处于0.5 Hz到50 Hz, 所以本文使用带通滤波器, 允许频率为0.5–50 Hz的脑电信号通过, 而大幅减弱该范围以外的信号.

(3) 工频陷波. 工频干扰会对电子设备造成干扰, 导致设备运行异常. 因此本文需要使用50 Hz工频信号滤波器滤除脑电信号中50 Hz工频信号的干扰.

(4) 二级放大. 使用主放大器将高频已调波信号进行功率放大, 以满足发送功率的要求, 然后经过天线将其辐射到空间, 保证在一定区域内的接收机可以接收到满意的信号电平, 并且不干扰相邻信道的通信.

(5) A/D转换. 将采集到的模拟信号转换为数字信号.

(6) 输出脑电信号.

信号预处理流程如图8所示.

3.2 信号数据解析及命令生成 3.2.1 脑电信号控制设计

本文使用脑电信号控制小车的前进、后退和停止3种基本运动状态以及小车的低速、中速和高速3种运动速度状态. 对于基本运动状态的控制, 本文利用脑电信号采集设备预处理后输出的脑电信号强度数值, 采用阈值法判断当前设备使用者是否处于眨眼状态, 进而确定是否要生成基本运动状态切换命令来控制基本运动状态. 对于该眨眼阈值的设计, 在进行眨眼实验并统计实验结果后发现, 在脑电采集设备使用者有意做出眨眼动作时, 由于眨眼所产生的肌电信号的影响, 设备输出的脑电信号强度数值会在极短的时间内突增至800到1 100; 而在脑电采集设备使用者无意眨眼时, 其力度远小于有意眨眼, 因此所产生的肌电信号较弱, 脑电信号强度数值也不会出现大幅度的变化. 因此, 一般情况下, 若检测到脑电信号强度数值在800到1 100之间, 则认为设备使用者进行了1次有意眨眼. 设BlinkSta表示设备使用者的眨眼状态, EEGinten表示某一时刻设备使用者的脑电信号强度数值, 眨眼状态的判断公式如式(1)所示.

$ {\textit{BlinkSta}} = \left\{ {\begin{array}{*{20}{l}} 0,\;{0 \leqslant EEGinten < 800} \\ 1,\;{800 \leqslant EEGinten \leqslant 1100} \\ 2,\;{EEGinten > 1100} \end{array}} \right. $

(1)

当脑电信号强度数值小于预设的眨眼状态判断阈值800时, 眨眼状态为0, 认为设备使用者处于未眨眼状态; 当脑电信号强度数值处于预设的眨眼状态判断阈值800和眨眼干扰态判断阈值1 100之间时, 眨眼状态为1, 认为设备使用者处于眨眼状态; 当脑电信号强度数值大于预设的眨眼干扰态判断阈值1 100时, 眨眼状态为2, 认为眨眼状态为干扰态, 获取到的信号数据包含着较明显的干扰信息, 结果不可信, 故不对其做进一步的处理.

但是, 若仅依赖于单次眨眼状态判断结果就切换小车运动状态, 则信号干扰、信号采集设备的移动等因素就可能会对结果产生比较重大的影响, 进而导致误判率较高. 因此, 为了进一步区分无意眨眼和有意眨眼, 尽量减小噪声等因素干扰, 降低有意眨眼状态误判率, 除了脑电信号强度数值之外, 可进一步结合眨眼用时和眨眼间隔进行综合判断.

在正常情况下, 人类进行无意眨眼需要用时0.2 s到0.4 s, 两次无意眨眼间隔约在2.0 s 到6.0 s之间; 而有意眨眼则因为眨眼力度和有意控制等因素的影响, 相较于无意眨眼, 有意眨眼用时较长, 间隔较短, 需要用时0.3 s到0.7 s, 两次有意眨眼间隔约在0.1 s到0.3 s之间. 基于此, 设BlinkCount表示眨眼次数, 其值会被初始化为0, 当某一时刻系统检测到由式(1)所求得的眨眼状态值BlinkSta为1时, 眨眼次数BlinkCount的值加1 (此时BlinkCount = 1), 并开始一个基本运动状态切换命令生成周期. 在这一周期中, 若系统在3 s内某两个时刻检测出眨眼状态值BlinkSta为1, 使得眨眼次数BlinkCount自增两次, 其值变为3时, 则生成基本运动状态切换命令, 这一周期结束, BlinkCount被重置为0; 若系统未能在3 s内的某两个时刻检测出眨眼状态值BlinkSta为1, 即3 s周期结束后BlinkCount < 3, 则不会生成基本运动状态切换命令, 这一周期结束, BlinkCount被重置为0.

对于小车运动速度状态的控制, 本文利用脑电信号采集设备预处理后输出的专注度数值, 采用阶梯阈值法, 为不同的速度层级设定不同的专注度阈值区间, 通过匹配比较操作, 确定是否要生成速度状态切换命令来控制基本运动状态. 对于控制速度状态的专注度阈值设计, 在进行了专注度实验并统计实验结果后发现, 一个成年人在常态精神状况下, 设备输出的专注度属性值通常维持在40左右; 在专注时则在50到90之间波动, 极少出现大于90的情况. 基于此, 本控制方案将小车的速度分为3档, 档位由低到高, 速度逐渐加快, 并为每个速度档位对应地设置专注度阈值. 设SpeSta表示小车当前所处于的运动速度层级状态, Att表示设备使用者某一时刻的专注度数值, dur表示设备使用者当前时刻已维持某一专注度水平的持续时间, 小车运动速度切换机制如式(2)所示.

$ {\textit{SpeSta}} = \left\{ {\begin{array}{*{20}{l}} 0,\;{0 \leqslant Att < 60{\text{ and}}{\text{ }}dur \geqslant {\text{5 s}}} \\ 1,\;{60 \leqslant Att \leqslant 80{\text{ and}}{\text{ }}dur \geqslant {\text{5 s}}} \\ 2,\;{80 < Att \leqslant 100{\text{ and}}{\text{ }}dur \geqslant {\text{5 s}}} \end{array}} \right. $

(2)

当设备使用者的专注度数值维持在某一速度层级对应的专注度区间( $0 \leqslant Att < 60$ )至少5 s, 速度状态SpeSta将对应地被设置为相应值, 其中, 当SpeSta值被赋值为0、1或2时, 将分别生成低速层、中速层或高速层的运动速度状态切换命令, 动态地切换小车的运动速度.

3.2.2 肌电信号控制设计

本文利用设备使用者左右咬合时产生的肌电信号控制小车的左转和右转两种转向状态. 正常情况下, 面部咬肌处于放松状态时, 其肌电信号的离散程度较小, 而咬肌处于咬合状态时, 其信号离散程度明显较大. 因此, 本文认为两侧咬肌电信号的离散程度不同可用于控制小车运动转向. 通过下述公式, 计算得到一组肌电信号的标准差数值:

$ \sigma = \sqrt {\frac{1}{N}{{\sum\nolimits_{i = 1}^N {\left( {{x_i} - \mu } \right)^2} }}} $

(3)

其中, N为集合的总个数, μ为集合的平均数, x_i为集合中第i个元素的数值, σ为输出, 即标准差数值. 由于肌电采集设备的有效频谱范围为20–500 Hz, 即1 s采集20–500次信号, 在本文中, 每0.2 s采集50次肌电信号, 并将每0.2 s采集的信号设为一组, 将每组中肌电信号值经过标准差算法处理后, 最终得到的σ值位于0–300之间. 设BiteSta表示设备佩戴者的咬肌状态, 本文将咬肌状态分为3种状态, 即放松态、咬合态和干扰态, 相对应的, BiteSta的取值0、1和2就分别代表这3种状态, 3种状态的阈值设定和计算公式如式(4)所示.

$ {\textit{BiteSta}} = \left\{ {\begin{array}{*{20}{l}} 0,\;{0 \leqslant \sigma \leqslant 40} \\ 1,\;{40 \lt \sigma \lt 150} \\ 2,\;{150 \leqslant \sigma \leqslant 300} \end{array}} \right. $

(4)

若检测到左侧或右侧咬肌为咬合态时, 则生成小车左转或右转的控制指令; 若检测到左侧或右侧咬肌为放松态时, 则生成小车左右转向停止的控制指令; 而若检测到左侧或右侧咬肌为干扰态时, 认为此时咬肌状态为干扰态, 获取到的信号数据包含着较明显的干扰信息, 结果不可信, 故不对其做进一步的处理, 不生成控制指令.

3.3 小车动作响应

控制命令生成之后, 将被传输到虚拟小车平台或者树莓派小车中, 根据控制命令相应地控制小车运动. 本文将小车的运动状态划分为前进、后退和停止3种基本运动状态, 左转和右转两种转向状态以及低速、中速和高速3种运动速度状态. 对于虚拟小车平台, 为使数据处理程序与虚拟小车平台程序两个程序之间能够相互通信, 本文使用Socket通信连接这两个程序. 数据处理程序在处理信号数据并生成控制命令之后, 将通过建立的Socket连接传输至虚拟小车平台, 而虚拟小车的运行状态也将通过Socket连接反馈至数据处理程序. 在虚拟小车平台中, 通过将虚拟小车整体平移来模拟小车的移动, 通过更改虚拟小车平移的速度模拟小车运动速度快慢, 通过更改车轮和虚拟小车的逆时针或顺时针旋转角度模拟小车的左右转向状态.

对于实体树莓派小车, 本文使用蓝牙通信方式连接数据处理程序和实体小车树莓派主板. 数据处理程序在处理信号数据并生成控制命令之后, 将通过蓝牙连接传输至实体小车的主板中, 主板根据命令相应地改变实体小车的运动状态. 在实体树莓派小车中, 小车的运动由直流电机的转速控制, 而直流电机的转速则需要改变PWM信号的占空比进行控制. 占空比指的是在1个周期内, 信号处于高电平的时间占据整个信号周期的百分比, 其计算公式如下:

$ D = \frac{{ht}}{{ht + lt}} $

(5)

其中, ht为一个周期内高电平持续时间, lt为一个周期内低电平持续时间, ht与lt之和为一个信号周期. 当PWM信号处于高电平, 则表示电机正在运行, 高电平的持续时间越长, 即占空比越大, 则电机的运行时间越长, 输出的转速也就越大, 小车的行驶速度也越快. 因此, 本文通过设置实体小车不同轮子对应电机的PWM信号占空比, 控制实体小车进行不同的运动. 当小车静止时, 占空比为0; 当小车运动速度处于低速层时, 占空比为30%, 当小车运动速度处于中速层时, 占空比为50%, 当小车运动速度处于高速层时, 占空比为60%. 此外, 若左右两侧轮胎的转速存在着速度差, 小车将转向速度较小的一侧. 因此, 当小车需要转向时, 为产生转向所需速度差, 本文将两侧电机占空比差值设置为10%, 例如, 当小车低速前进时需要右转, 则小车左侧电机的占空比为40%, 右侧电机的占空比为30%, 小车即可慢慢向右偏转.

4 实验与结果

虚拟小车平台和树莓派实体小车是本文所提出的系统的两大核心. 虚拟小车平台的意义在于帮助用户更好地了解、练习和掌握本文所提出的基于脑电信号和肌电信号的协同控制设备方案. 而树莓派实体小车是该控制方案应用于控制设备的一个实例, 目的在于验证该控制方案的实际可行性. 本节将分别对虚拟小车平台和实体小车的各种运动状态控制进行系统可靠性测试与结果展示.

本次测试人员包含4名男性和1名女性, 测试地点为华南师范大学软件学院楼305室, 测试人员在测试时, 佩戴好信号采集设备后, 端坐于电脑和测试场地前, 按照指挥员的指令执行相关测试任务. 测试目的是测试能否根据脑电信号和肌电信号数据正常产生控制指令, 能否根据控制指令正常控制虚拟小车和实体小车执行相应的动作, 最终得出完成这一系列过程的准确率及所需用时, 进而验证该控制方案的有效性.

4.1 基本运动状态控制测试

对于基本运动状态控制测试, 本文安排5名测试人员在安静环境中分别测试虚拟小车平台和实体小车中基本运动状态控制的准确性和所需用时. 每名测试人员需要分别在虚拟小车平台和实体小车中进行40轮基本运动状态切换过程. 其中, 为了更全面地测试基本运动状态控制功能, 本文设定1轮基本运动状态切换过程包括3个任务: 从静止状态切换至前进状态, 从前进状态切换至后退状态, 以及从后退状态切换至静止状态. 当测试者做出相应动作后, 能正确生成控制指令且无错误地完成1轮基本运动状态切换过程, 则认为本轮测试正确, 并记录完成1轮基本运动状态切换过程所需时间; 反之, 若测试者做出相应动作后, 未能控制小车进行基本运动状态切换, 或者测试者未做出相应动作就生成了控制指令控制小车进行基本运动状态切换, 则认为本轮测试失败. 测试完成后, 分别计算在虚拟小车平台和实体小车的基本运动状态控制测试的平均测试准确率和测试正确平均耗时. 结果如表1所示.

4.2 速度状态控制测试

对于速度状态控制测试, 本文安排5名测试人员在安静环境中分别测试切换到目标速度层级的准确性和所需用时. 每名测试人员需要分别在虚拟小车平台和实体小车中进行15轮速度状态切换过程. 其中, 1轮速度状态切换过程要求测试人员将小车的速度状态切换至目标层级, 若实际切换的速度状态与目标相同, 则认为测试正确, 并记录该轮测试所需用时; 反之, 若小车的速度状态未能切换至目标层级, 或者测试者未做出相应动作就生成了控制指令控制小车进行速度状态切换, 则认为本轮测试失败. 测试完成后, 分别计算在虚拟小车平台和实体小车的速度状态控制测试的平均测试准确率和测试正确平均耗时. 结果如表2所示.

经过速度状态控制测试试验后, 发现速度状态控制准确率较低和控制耗时较长, 本文认为造成这种现象的主要原因是使用专注度作为控制动作存在着一定局限性: 专注这一动作较为隐蔽, 其动作特征不如眨眼这一动作外显, 即人们无法清晰准确地感知自己所处的专注状态, 也较难对专注状态进行自主精准控制; 而与之相对的, 眨眼或者咬合等动作往往伴随着明显的动作特征, 人们可以确确实实控制自己的肌肉执行相关动作. 因此, 测试者在测试时, 可能会出现自我感知的专注状态和计算得出的专注度数值有所偏差的情况, 导致未能生成任务要求的速度状态控制指令而测试失败.

4.3 转向状态控制测试

对于转向状态控制测试, 本文安排5名测试人员在安静环境中分别测试虚拟小车平台和实体小车中转向状态控制的准确性和所需用时. 每名测试人员需要分别在虚拟小车平台和实体小车中进行40轮转向状态切换过程. 其中, 由于单次转向耗时较短, 为了更好地评估转向控制性能, 本文设定1轮转向状态切换过程包括3个任务: 从初始状态切换至左转状态, 再切换至右转状态, 最后恢复至初始状态. 当测试者做出指定动作后, 能正确生成控制指令并成功完成1轮转向状态切换过程, 则认为本轮测试正确, 并记录完成1轮转向状态切换过程所需时间; 反之, 若测试者做出指定动作后, 未能控制设备进行转向状态切换, 或者测试者未做出相应动作就生成了控制指令控制小车进行转向状态切换, 则认为本轮测试失败. 测试完成后, 分别计算虚拟小车平台和实体小车的转向状态控制测试的平均测试准确率和测试正确平均耗时. 结果如表3所示.

4.4 综合控制测试

本文安排5名测试人员在安静环境中分别使用虚拟小车平台和实体小车进行10轮综合测试, 该测试因为需要综合运用3种基本运动状态以及两种转向状态的控制, 所以能够较好地检验基本运动状态控制和转向控制性能. 如图9所示为综合控制测试中小车初始所在位置以及两个目的地示意图. 小车初始位置位于2号目的地的左下方, 而1号目的地则位于2号目的地道路对面的右方. 每一轮综合测试要求测试人员操控小车沿道路抵达1号目的地后停止, 然后再启动前往2号目的地, 最终停止于2号目的地中, 即测试完成.

测试过程中, 尽管测试者可能会出现因为车速过快或者控制失误而偏离了设想移动路线的情况, 但后续均能通过合理的控制操作到达目的地, 顺利完成测试任务, 这在一定程度上证明了本文所提出的控制方案的有效性, 即通过该控制方案, 使用者可以操控设备顺利到达指定目的地.

4.5 测试分析及总结

根据基本运动状态控制和转向状态控制测试结果, 本文所提出的控制方案对于基本运动状态和转向状态这几种状态的控制动作有着较高的识别准确率. 本文认为准确率较高的主要原因是用于控制基本运动状态和转向状态的动作, 即眨眼和左右咬合这3种控制动作的特点. 在数据层面, 与平静状态相比, 这3种控制动作往往伴随着比较明显的特征, 因此本文使用一些经典的统计特征, 如峰值, 标准差等特征进行识别判断, 可以取得较高的准确率; 在用户层面, 这3种控制动作的控制难度较低, 用户的自主控制程度较高, 且伴随着比较明显的动作特征, 用户可以清楚地感知自己是否完成了控制动作, 是否达到系统的控制要求, 通过这一对照操作, 用户可以掌握合适的控制动作力度, 达到高控制准确率的效果.

而对于其中测试失败的情况, 本文经过回访测试者并分析后认为: 测试失败案例主要出现在前几轮测试中, 此时测试者尚处于调整及适应信号采集设备和熟悉控制动作的状态下, 随着测试轮次的增加, 测试者对于控制方案的熟悉程度和控制动作的最佳力度掌控程度也随之提高, 因此错误率随之降低. 此外, 根据几项测试结果可以看出, 针对虚拟小车平台和实体小车的测试准确率和耗时大体上相近, 这在一定程度上体现了本文所提出的控制方案的性能一致性.

如表4所示为其他研究所提出的控制方案与本文所提出的基于脑电信号和肌电信号的设备控制方案及其控制准确率的对比, 由于大多数相关研究不涉及对设备移动速度的控制, 因此此处仅从控制方案、基本运动状态以及转向状态这3个维度进行比较. 相比于文献[8]提出的控制方案, 文献[10]和本研究的控制动作仅依赖于头部动作, 如眨眼、左右咬合和保持专注, 因此理论上能够适用于更广泛的人群; 相比于文献[8]和文献[10], 本研究不仅允许用户控制设备前进和停止, 还允许用户控制设备后退, 使得用户可以更加灵活地控制设备, 且本研究对于基本运动状态(前进、后退、停止)和转向状态的控制准确率更高, 同时有着较快的响应速度; 此外本研究将设备的运动速度分为3档, 用户可以通过专注度控制设备的运动速度状态.

值得一提的是, 其他控制方案大多不涉及后退功能其主要原因有二: 一是合适的控制动作的数量难以满足太多的小车运动状态的控制需求. 一般控制方案中, 每一种运动状态都由一个指定的控制动作进行控制, 若设计太多运动状态, 则需要相应设计更多控制动作, 且需要考虑这些控制动作之间会不会相互影响, 这使得动作设计难度和用户控制难度都增大; 二是后退功能可能并非小车的常用运动状态, 即用户的使用频率不高, 且后退功能的效果可以通过前进和转向这一系列状态来实现. 但相比于该控制方案中的直接后退控制, 这种通过动作组合的方式来实现间接后退的方法必定会在转向掉头的同时发生左右位置偏差, 存在着控制不准确和控制较为繁琐的缺点. 考虑到这两点原因, 本文所提出的控制方案规定前进、后退和停止3种状态为小车的基本运动状态, 用户仅通过眨眼这一个简单常用的控制动作, 控制小车在3种基本运动状态中轮流切换, 而不是分别使用不同的控制动作来控制这3种基本运动状态. 通过这种方式, 在保证控制方案扩展性的同时, 既保证了这种控制动作的准确性和响应速度, 也考虑了用户的控制难度.

总的来说, 本文所提出的基于脑电信号和肌电信号的设备控制方案能够允许用户简单高效地控制小车前进、后退、停止和左右转向, 进而控制小车到达指定目的地, 这几种控制动作均有较高的识别准确率和较快的响应速度. 此外, 该方案允许用户根据专注度调整小车的运动速度, 但由于专注度较难控制和量化, 用户难以精准地掌控自身的专注状态, 这在一定程度上导致此种控制动作的识别准确率低和响应时间较长的情况, 这也是未来亟待完善的一个研究方向. 凭借着该控制方案中基本运动状态和转向状态的控制方法的优势, 本文所提出的控制方案能在一定程度上满足现实需求, 可以投入到实际应用中.

5 结语

本文提出了一套基于脑电信号和肌电信号协同控制小车系统, 采用脑电信号和肌电信号作为系统控制源, 用户仅通过简单的头部动作, 比如眨眼、左右咬合和保持专注即可控制小车运动, 扩大了该系统的使用受众. 且该系统常用运动功能控制, 如前进、后退和停止3种基本运动状态的控制以及左右转向控制有较高的准确率和较快的响应速度, 有效地改善了基于单一控制信号源的高控制难度和慢响应速度的问题, 这为相关设备控制研究的控制方案设计提供了参考. 该系统未来可以从以下3个方面进行完善.

(1) 改进速度状态控制方案. 本文的速度状态由用户专注度进行控制, 但由于专注度较难控制和量化, 用户难以精准地掌控自身的专注状态, 这在一定程度上导致此种控制动作的识别准确率低和响应时间较长的情况. 因此, 本文认为可以从以下两个方面进行改善: 一是可以尝试使用其他可控制程度和可量化程度更高的动作控制速度状态; 二是可以尝试改进专注度计算算法, 使得用户能够更加简单地掌控自身专注度情况, 进而更高效地控制设备.

(2) 探究一套更为舒适的阶梯速度方案. 本文通过实验发现, 若小车的运动速度不合适, 用户可能会产生慌张焦虑的情绪, 进而影响对设备的控制效果, 因此, 对于设备运动控制这类研究而言, 探究一套更为舒适自然的阶梯速度方案存在一定的研究价值.

(3) 将该控制方案用于更贴近实际应用的智能轮椅中, 进一步验证该控制方案的有效性, 扩充该控制系统的应用矩阵, 为行动不便者更为简单地控制智能轮椅.