2019, Vol. 28
表 1(Table 1)
混合脑机接口的研究进展
引用本文
李自娜, 徐欢, 潘家辉. 混合脑机接口的研究进展. 计算机系统应用, 2019, 28(9): 1-8.http://www.c-s-a.org.cn/1003-3254/7037.html
Li ZN, Xu H, Pan JH. Advances in Hybrid Brain-Computer Interfaces. Computer Systems and Applications, 2019, 28(9): 1-8(in Chinese).http://www.c-s-a.org.cn/1003-3254/7037.html
混合脑机接口的研究进展
1. 华南师范大学 计算机学院, 广州 510631;
2. 华南师范大学 软件学院, 佛山 528225
2. 华南师范大学 软件学院, 佛山 528225
摘要：传统的脑机接口(Brain Computer Interface, BCI)有许多不足, 如基于运动想象的BCI需要受试者进行大量练习; 基于P300位的BCI需要多次重复闪烁; 基于SSVEP的BCI上的控制命令数量受刺激频率及其他因素影响. 为此, 研究人员提出了混合脑机接口(hybrid Brian Computer Interface, hBCI). 本文主要讨论了hBCI的研究进展, 综述了常见的三种hBCI类型, 分别是基于多种大脑模式的hBCI、基于多种感官刺激的hBCI、基于多种信号的hBCI, 通过分析最新的hBCI系统的一般原理、刺激范式、实验结果、优点和应用, 发现利用hBCI技术可以提高BCI的分类准确率, 增加控制命令的数量, 明显优于单一模态的BCI.
关键词:
混合脑机接口 P300电位 SSVEP 控制命令 分类准确率
Advances in Hybrid Brain-Computer Interfaces
1. School of Computer Science, South China Normal University, Guangzhou 510631, China;
2. School of Software, South China Normal University, Foshan 528225, China
2. School of Software, South China Normal University, Foshan 528225, China
Foundation item: National Natural Science Foundation of China (61876067); Young Scientists Fund of National Natural Science Foundation of China (61503143); Special Fund for S&T Innovative Talent under Pearl River S&T Star, Science and Technology Plan of Guangzhou Municipality (201710010038)
Abstract:
Traditional Brain-Computer Interface (BCI) systems have many shortcomings, such as BCI based on motor imaginary requires a large number of exercises; BCI based on P300 requires multiple repetitions of flicker; the number of control commands of BCI based on SSVEP is affected by stimulation frequency and other factors. To this end, researchers have proposed a hybrid Brian-Computer Interface (hBCI). This paper mainly discusses the research progress of hBCI, and reviews three common types of hBCI, such as hBCI of multiple brain models, hBCI of various sensory stimuli, and hBCI of various signals. By analyzing the general principles, stimulation paradigms, experimental results, advantages and applications of the latest hBCI system, we find that using hBCI technology can improve the classification accuracy of BCI and increase the number of control commands, which is obviously better than single mode BCI.
Key words:
hybrid Brain-Computer Interfaces (hBCI)
P300 potential
SSVEP
control commands
classification accuracy
1 引言
3.1.1 基于P300和SSVEP的hBCI
3.2 基于多种感官刺激的hBCI 3.2.1 视-听觉hBCI
脑机接口(Brain-Computer Interface, BCI)是一种无需外周神经和肌肉的参与, 将大脑活动产生的信号转换成控制信号, 并使用这些信号控制外部设备的技术[1], 如图1. 近年来, 脑机接口因其潜在的临床应用价值而日益受到学术界和公众的关注. 例如, BCI可以提供增强或修复运动功能, 给有严重运动障碍的患者带来很大的帮助. 目前, 提取大脑信号最常用的方式为非植入式, 包括功能性磁共振成像(functional Magnetic Resonance Imaging, fMRI)、脑磁图(Magneto Encephalo Graphy, MEG)、脑电图(Electro Encephalo Graphy, EEG)和功能近红外光谱(functional Near-Infrared Spectroscopy, fNIRS)[2]. 虽然脑电图具有低信噪比和低空间分辨率, 但它无创、便携、低成本、性能好, 实时响应, 在技术上比其他脑信号要求低. 因此, 它在脑机接口中已被普遍使用. 本文主要讲述基于EEG的脑机接口. 基于EEG的混合脑机接口使用的大脑模式包括Farwell和Donchin在1988年提出的P300视觉诱发电位[3]、Muller等人提出的稳态诱发电位(如稳态视觉诱发电位(Steady-State Visual Evoked Potentials, SSVEP))[4]以及由运动想象(Motor Imagery, MI)产生的事件相关异步/同步(Event-Related Desynchronization/Synchronization, ERD/ERS)[5].
|
图 1 脑机接口系统的信号处理流程 |
单一模态的脑机接口系统在范式设计、脑信号处理算法和控制系统方面已经取得了重大进展, 然而依然存在不足. 如基于运动想象的BCI需要受试者进行大量练习, 这会使得患者容易疲惫, 从而影响患者的思维集中, 影响脑信号质量; 基于P300位的BCI需要多次重复闪烁, 长时间的重复闪烁, 也对患者的脑信号产生影响; 基于SSVEP的BCI上的控制命令数量受刺激频率及其他因素影响, 特别是当脑机接口的命令数增加时, 分类精度下降. 此外, 这些脑机接口系统还面临着一些挑战, 包括低信息传输速率、多方面/功能控制、人机适应性、鲁棒性和稳定性.
解决上述挑战的潜在方法是使用新开发类型的脑机接口系统, 即混合脑机接口. 正如Allison研究团队所描述的[6], 混合脑机接口(hybrid Brain-Computer Interface, hBCI)由脑机接口系统和附加系统组成, 该附加系统可能是第二个脑机接口系统, 并且被设计成比常规脑机接口更好地执行特定目标. hBCI的主要目标有(1)提高BCI的分类精度, (2)增加大脑控制命令的数量, (3)减少大脑信号检测时间. 研究人员尝试寻找多种大脑信号从而提高控制命令的数量, 典型例子为SSVEP和P300组合, 运动想象(Motor Imagery, MI)和SSVEP组合成的hBCI[4].
本文主要介绍hBCI的类型及其应用. 首先介绍了hBCI的概念, 然后主要讲述几种代表性hBCI的一般原理、刺激范式、实验结果、及其应用, 最后讨论了hBCI的应用前景和研究方向.
2 混合脑机接口Pfurtscheller等人[7]认为hBCI类型除了简单的BCI组合外, 还需要满足以下四个标准: (1)活动直接从大脑中获得; (2)应采用多种大脑信号采集方式中的至少一种来获取这种活动, 这种活动可以是电位的、磁场的或血液动力变化形式; (3)必须实时/在线处理信号, 以建立大脑和计算机之间的通信, 以产生控制命令; (4)必须提供描述大脑活动结果以进行通信和控制的反馈.
近年来, 符合这些标准的hBCI着重于提高活动检测的准确性, 增加控制命令的数量, 对健康受试者和患者以更好地通信和控制. “混合BCI”和“多模式BCI”是两个高度相关的概念. Li等人[8]认为“混合脑机接口”和“多模态脑机接口”是对BCI相同定义的可互换术语.
本文提到的hBCI主要分为3大类, 如图2所示. (1)基于多种脑模式的hBCI, 其中至少有两种脑模式使用(P300和SSVEP或MI和P300), 在这种hBCI类型中, 多脑模式由单一感觉刺激诱发; (2)基于多种感觉刺激的hBCI, 其中大脑模式通过多感觉刺激, 如视听刺激, 同时诱发, 在这类hBCI中, 一种或多种脑模式由多个感觉刺激诱发; (3)基于多种信号的hBCI, 其中在hBCI系统中组合两个或多个输入信号, 例如EEG、MEG、fMRI、NRIS、EOG或EMG. 表1列出了3大类hBCI近年来的代表性应用及其性能指标.
3 混合脑机接口类型 3.1 基于多种大脑模式的hBCIhBCI结合了多种大脑模式, 例如P300、SSVEP和MI. 此类hBCI已经被设计用于各种应用, 例如拼写器[13], 空闲状态检测[26], 矫形器[27], 轮椅导航[28]和计算机部件的控制, 例如二维(2D)光标[29], 鼠标[30], 浏览器[31], 或邮件客户端[32]等. 在本节中, 我们主要描述基于P300和SSVEP的hBCI、基于MI和SSVEP的hBCI和基于MI和P300的hBCI.
|
图 2 本文所讨论的混合脑机接口类型 |
|
表 1 混合脑机接口的代表性应用研究 |
3.1.1 基于P300和SSVEP的hBCI
2014年Bi等人[9]提出了基于SSVEP和P300的混合范式用于开发基于速度-方向的光标控制. 在这个研究中, P300的刺激在屏幕上下侧分布, 而检测SSVEP的刺激(可顺时针或逆时针旋转控制设备)在屏幕的左右两侧显示, 使用基于支持向量机的分类的方法, 结果显示该hBCI的准确率超过90%.
Pan等人[33]使用SSVEP和P300的混合范式在意识障碍患者(Disorders Of Consciousness, DOC)检测到意识. 在该实验中, 将两张照片呈现给每一个病人: 一张是病人自己的, 另一张是陌生人的, 病人将注意力集中在自己的或陌生人的照片上. BCI系统使用P300和SSVEP的特征检测病人注意到哪一张照片. 8名患者(4名处于植物人状态(Vegetative State, VS), 3名处于最小意识状态(Minimally Conscious State, MCS), 另一个处于闭锁综合症(Locked-In Syndrome, LIS))参与实验. 使用SVM基础分类器, 1名VS患者、1名MCS患者以及1名LIS患者能够选择自己或别人的照片(分类准确率, 66%–100%), 该结果表明能够使用hBCI识别患者命令跟随, 从而证明了他们存在一定的认识能力和意识.
3.1.2 基于MI和SSVEP的hBCI将SSVEP和MI结合的原因有4个: (1) SSVEP和MI相关的大脑模式同时产生. (2) SSVEP是一种可以在经过少量训练的不熟悉受试者中稳定检测到的诱发电位, 而对于大多数新用户来说, 比较难适应去完成MI任务这个过程. (3) SSVEP可以基于脑电数据的单个试验来检测, 这种检测不需要平均过程. (4)非视觉训练会挫败受试者, 而SSVEP为吸引受试者参与MI任务, 提高受试者的表现提供了可能解决方案.
Yu等人[34]将SSVEP和MI相结合, 为MI训练提供有效的连续反馈. 最初, 分类器为SSVEP分配较大权重, 以便在训练开始期间得到正确的反馈. 随着训练进行, 受试者减少对SSVEP刺激的视觉注意力, 但是对MI心理任务保持持续关注. 当受试者适应节奏活动时, 分类器将权重转向MI. 该研究表明hBCI能用于加强MI训练, 并只需5次训练(约1.5小时)后便产生可区分的大脑模式.
3.1.3 基于MI和P300的hBCI基于EEG的BCI系统的一个重要方面是多维控制, 它涉及多个独立的控制信号. 这些控制信号可以从多个脑模式获得, 例如MI和P300. 一方面P300表示的是用于产生离散控制输出命令的可靠类型的脑模式. 另一方面MI对于产生连续控制命令更为有效.
MI和P300相关的任务在现实环境中已广泛应用. Long等人[30]为二维光标控制和目标选择提出了一种结合MI和P300的hBCI, 如图3所示. 研究人员使用了SVM分类方法, 成功试验的平均准确率为92.84%, 如果光标成功移动到目标, 目标选择准确率的平均为93.99%. 此外, 还收集了数据集用于离线分析, 以证明与单独使用P300电位或MI特征相比, P300电位和MI混合特征用于目标选择/拒绝的优势. 实验结果表明, 混合特征的使用准确率显著高于仅使用MI或P300电位特征(混合特征: 83.10±2.12%; MI特征: 71.68±2.41%; P300特征: 80.44±1.82%). 这种混合系统具有三个优点. 首先, 基于MI和P300电位产生两个独立的控制信号. 第二, 用户可以将光标从任意位置移动到随机定位的目标. 第三, 这种采用MI和P300电位两种模式的混合控制策略比单独使用MI或P300电位的控制策略提供更好的识别性能. 多个控制信号对于轮椅的多维控制也是必不可少的. 在一项研究中, Long等人[35]还提出了基于MI和P300电位的hBCI范式, 以提供方向(左或右)和速度控制(加速和减速)命令来操作实际轮椅.
|
图 3 hBCI的GUI结合了MI和P300电势的2D光标控制和目标选择, 其中一个光标(黑色小圆), 目标(灰色小正方形), 和8个闪烁按钮(3个“Up”, 3个“Down”和2个“Stop”). |
3.2 基于多种感官刺激的hBCI 3.2.1 视-听觉hBCI
人类拥有的多个感官为处理来自现实世界的信息提供路径. 多感官刺激的融合可加强自上而下的注意力, 这些增强的效果可能有助于改善BCI系统的性能. 基于这一考虑, 基于视-听觉和视-触觉的hBCI被提出来, 其中用于提高系统性能的是双峰刺激.
Belistk等人[36]提出了离线的基于视-听觉的P300拼写器和相应的数据分析结果. 研究表明在视-听觉条件下, P300反应的强度高于仅视觉或仅听觉条件下P300反应的强度. An等人[37]探索了用于与注视无关的BCI的并行拼写器, 其中听觉和视觉域彼此独立. 他们的结果表明, 15个用户可以在线拼写, 平均准确率为87.7%. 这些现有结果表明, 视听整合可能是增强大脑模式和进一步改善脑机接口性能的潜在方法. Wang等人[38]提出一种新视-听觉BCI系统, 该系统基于数字使用上的空间, 时间语义一致的视听觉刺激. 该视-听觉BCI系统应用于DOC患者的意识检测.
目前, DOC患者, 比如植物人状态或最低意识状态的临床诊断和意识评估主要依赖于行为观察量表, 如昏迷恢复量表. 由于这些患者不能提供足够的行为反应, 因此存在很高的误诊率(范围从37%到43%). 检测这些患者的意识是非常具有挑战性的. 2018年, Pan等人[16]利用视-听hBCI对DOC患者意识检测和在线交流的潜在应用进行探索. 在8名DOC受试患者中, 有两名取得高于随机水平的准确率, 并且有一名患者意识上有所恢复. 然而, 严重脑损伤的DOC患者使用BCI的能力比健康个体低得多. 一种可能的解决方案是应用上述视-听觉hBCI以提高觉察检测的灵敏度.
3.2.2 视-触觉hBCI上述的hBCI需要视觉上的交互来关注刺激和反馈, 这限制了它们对具有良好视力和完整注视控制的用户的适用性. 由于用户在操作听觉或触觉BCI时不需要视觉交互, 基于听觉/触觉的双峰刺激方法可能允许视觉扫描无关的BCI. 在之前的研究中, Yin等人[39]提出了一种方向一致的双模态P300 BCI, 使用来自同一空间方向的听觉和触觉刺激的同时呈现.
听-触觉BCI研究仍处于研究开发的初期阶段. 例如, Rutkowski和Mori研究的针对视力和听力受损的用户的触觉和听觉BCI[40], 这些现有的结果揭示了听-触觉BCI的几个优点. 第一, 听-触觉双模态BCI比听觉或触觉单模态P300 BCI具有更好的整体系统性能. 第二, 在视觉计算机应用中, 听-触觉BCI提供了目标感官领域有吸引力的可能性, 可以不依赖于视觉刺激, 以诱发电位, 尽管使用这种系统获得的性能低于依赖于注视转移的BCI的性能. 第三, 视-触觉BCI对患有受损视力的用户来说, 是另一种可选择的BCI.
3.3 基于多种信号的hBCI构建hBCI系统可以使用多个信号, 包括EEG, MEG, fMRI, EOG, NRIS和EMG. 不同脑信号具有不同的信号特征, 因此可用于不同的功能. 常见的hBCI如基于EEG和EMG的hBCI, 基于EEG和EOG的hBCI, 基于EEG和fMRI的hBCI, 基于EEG和MEG的hBCI和基于NIRS和fMRI的hBCI.
Leeb等人[41]提出了一种结合EEG和EMG的hBCI. 在每次试验中, 根据视觉提示(指向左或右的箭头), 受试者被指示用左手或右手(即用拳头握住手)进行5秒的重复运动. 研究人员分别对EEG和EMG信号进行处理和分类, 然后融合; 采用典型变量分析来选择使不同任务之间的可分离性最大化的受试者特定特征, 使用根据与训练数据来训练高斯分类器的交叉验证确定的稳定特征. 所得到的特征以受试者特定的方式阈值化, 归一化, 并基于最大距离分类. 最后, 使用贝叶斯方法融合两个分类器概率以产生一个控制信号.
单独EEG活动的准确率73%, EMG活动为87%. 然而, 在hBCI中, 精度提高到91%. 此外, 为了模拟疲劳的肌肉, 肌电通道的振幅在运行期间降低(从10%衰减到100%), 使得EEG活动在融合数据中变得越来越重要, 因为肌电肌肉变得更加疲劳. 结果表明, 肌肉疲劳增加导致性能中度退化. 受试者可以独立于其肌肉疲劳水平来实现对其hBCI的良好控制. 这代表了EEG和基于EMG的BCI系统的明显优势.
由于许多残疾人仍然控制着他们的眼睛运动, 所以对于许多用户来说, EOG信号是BCI系统输入信号的适当选择. 最近, 一些研究已经结合EEG和EOG来构建hBCI, 如前面所提到Pan等人[16]所做的研究就是结合EEG和EOG对DOC患者进行的研究.
4 总结与展望本文主要讨论了几种hBCI类型和不同的刺激设计以及他们的性能分析. 为了提高系统性能, 研究人员设计了新的刺激模式, 可以得出, 对于系统性能来说, 刺激范式是一个重要的因素. hBCI将为解决脑机接口领域的问题提供途径, 比如在速度和实用性提高上, 不仅提供了多个独立的控制命令, 而且提高了准确率.
考虑到3类hBCI及其各自的应用, 我们可以总结出hBCI的2方面优势. (1) 提高目标检测性能. hBCI已被证明能够改善目标检测性能, 如前面所述. 带来这些改善的2个主要策略如下: ① 多种大脑模式(例如MI、P300和SSVEP)的组合, 或者多种信号(例如EEG、EMG、EOG或NIRS)的融合可以在特征级执行. ② 通过呈现多感觉刺激(如视听刺激)增强大脑模式. (2) 多维功能控制. 文中给出了基于混合BCI的多维或功能控制的实现方法和若干应用系统. 可以采用3种主要方法: ① 结合多种大脑模式以获得多个独立的控制信号, 例如基于MI和P300的2D光标控制和基于MI和SSVEP的矫形器控制; ② 使用不同的信号特性来执行不同的功能, 例如基于EEG和EOG的机器人控制. hBCI系统可以涉及多脑模式、多感觉模式、或多信号输入. 为了确保这些成分在hBCI系统中的有效协调, 需要研究相关的脑机制. 然而, 迄今为止对hBCI的脑机制研究很少.
此外, 未来的研究应该集中在hBCI的设计和实现上, 在设计开发一个hBCI时, 应考虑以下6个方面: (1)由至少一种大脑信号获取模式组成; (2)多模态系统应同时处理和检测不同的生理信号; (3)该范式应该能够使用多种模式获得多个大脑活动; (4)为了提高分类精度和生成额外的控制命令, 需要实时/在线获取作为分类的特征; (5)分类输出应具有与外部设备(如轮椅和机器人)连接的潜力; (6)它还应该为用户的康复和控制目的提供反馈. 当设计一个基于多脑模式的hBCI时, 一个挑战是确定脑模式的最佳组合, 该组合在用户中可以考虑不同, 以完成期望的目标. 在设计多感觉混合型脑机接口时, 一个挑战是确保所需的大脑模式通过多感觉刺激得到增强. 在未来, 我们可以考虑涉及视觉, 听觉和触觉方式的更多的组合多感官刺激. 对于基于多个信号的hBCI, 一个挑战是确保充分利用不同信号的优点, 从而改善系统性能. 此外, 还应考虑基于EEG和fMRI的实时hBCI, 因为以下因素: EEG数据(由fMRI扫描仪产生)中的高噪声、慢响应、高维数和fMRI数据的低时间分辨率. hBCI的一个潜在应用是脑机制研究. 在设计用于共享控制的hBCI时, 必须考虑人机适应/学习的范式, 以优化用户和机器的耦合, 并建立能够有效地融合用户意图和机器决策的模型. 未来的研究应该集中于这些问题. 到目前为止, 大多数hBCI系统, 如本章所讨论的BCI浏览器和BCI轮椅, 都是基于健康受试者设计的. 考虑到健康受试者和患者之间的主要差异, 这些系统需要扩展供患者使用.
将来, 研究人员将研究和设计一个更重要的刺激机制, 从而提高混合系统的性能, 附加的控制信号也会得到实现, 研究人员也会探索可以提高分类器的因素. 当前的混合BCI依然需要时间去训练分类器的参数, 以及减少时间的需求. 近几年的多模态脑机接口越来越多的应用到临床中,如偏瘫病人[42,43], 以及意识障碍患者的恢复和治疗[16,44]. 无论如何, 很明显, 未来的hBCI研究还有很大的空间, 尤其是它的应用. 这个领域还很年轻, 尽管已经引入了若干通信和控制策略, 但没有商业上可用的hBCI. 毫无疑问, 几项控制和康复应用的突破即将到来.
参考文献
| [1] |
Wolpaw JR, Birbaumer N, McFarland DJ, et al. Brain– computer interfaces for communication and control. Clinical Neurophysiology, 2002, 113(6): 767-791. DOI:10.1016/S1388-2457(02)00057-3 |
| [2] |
Fazli S, Mehnert J, Steinbrink J, et al. Enhanced performance by a hybrid NIRS-EEG brain computer interface. Neuroimage, 2011, 59(1): 519-529. |
| [3] |
Farwell LA, Donchin E. Talking off the top of your head: Toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology, 1988, 70(6): 510-523. DOI:10.1016/0013-4694(88)90149-6 |
| [4] |
Muller-Putz GR, Scherer R, Neuper C, et al. Steady-state somatosensory evoked potentials: Suitable brain signals for brain–computer interfaces?. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2006, 14(1): 30-37. DOI:10.1109/TNSRE.2005.863842 |
| [5] |
Pfurtscheller G, Da Silva FHL. Event-related EEG/MEG synchronization and desynchronization: Basic principles. Clinical Neurophysiology, 1999, 110(11): 1842-1857. DOI:10.1016/S1388-2457(99)00141-8 |
| [6] |
Allison BZ. Toward ubiquitous BCIs. In: Graimann B, Pfurtscheller G, Allison B, eds. Brain-Computer Interfaces: Revolutionizing Human-Computer Interaction. Berlin, Heidelberg: Springer, 2009. 357–387.
|
| [7] |
Pfurtscheller G, Allison BZ, Brunner C, et al. The hybrid BCI. Frontiers in Neuroscience, 2010, 4: 42. DOI:10.3389/fnpro.2010.00003. |
| [8] |
Li J, Ji HF, Cao L, et al. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. International Journal of Neural Systems, 2014, 24(4): 1450014. DOI:10.1142/S0129065714500142 |
| [9] |
Bi LZ, Lian JL, Jie K, et al. A speed and direction-based cursor control system with P300 and SSVEP. Biomedical Signal Processing and Control, 2014, 14(11): 126-133. DOI:10.1016/j.bspc.2014.07.009 |
| [10] |
Choi BJ, Jo SH. A low-cost EEG system-based hybrid brain–computer interface for humanoid robot navigation and recognition. PLoS One, 2013, 8(9): e74583. DOI:10.1371/journal.pone.0074583. |
| [11] |
Allison BZ, Jin J, Zhang Y, et al. A four-choice hybrid P300/SSVEP BCI for improved accuracy. Brain-Computer Interfaces, 2014, 1(1): 17-26. DOI:10.1080/2326263X.2013.869003 |
| [12] |
Yin E, Zeyl T, Saab R, et al. A hybrid brain–computer interface based on the fusion of P300 and SSVEP scores. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2015, 23(4): 693-701. DOI:10.1109/TNSRE.2015.2403270 |
| [13] |
Xu MP, Qi HZ, Wan BK, et al. A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature. Journal of Neural Engineering, 2013, 10(2): 026001. DOI:10.1088/1741-2560/10/2/026001 |
| [14] |
Soekadar SR, Witkowski M, Vitiello N, et al. An EEG/EOG-based hybrid brain-neural computer interaction (BNCI) system to control an exoskeleton for the paralyzed hand. Biomedical Engineering, 2015, 60(3): 199-205. |
| [15] |
Ma JX, Zhang Y, Cichocki A, et al. A novel EOG/EEG hybrid human-machine interface adopting eye movements and ERPs: Application to robot control. IEEE Transactions on Biomedical Engineering, 2015, 62(3): 876-889. DOI:10.1109/TBME.2014.2369483 |
| [16] |
Pan JH, Xie QY, Huang HY, et al. Emotion-related consciousness detection in patients with disorders of consciousness through an EEG-based BCI system. Frontiers in Human Neuroscience, 2018, 12: 198. DOI:10.3389/fnhum.2018.00198 |
| [17] |
Ju ZJ, Liu H. Human hand motion analysis with multisensory information. IEEE/ASME Transactions on Mechatronics, 2014, 19(2): 456-466. DOI:10.1109/TMECH.2013.2240312 |
| [18] |
Buccino AP, Keles HO, Omurtag A. Hybrid EEG-fNIRS asynchronous brain-computer interface for multiple motor tasks. PLoS One, 2016, 11(1): e0146610. DOI:10.1371/journal.pone.0146610 |
| [19] |
Shin J, von Lühmann A, Blankertz B, et al. Open access dataset for EEG + NIRS single- trial classification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(10): 1735-1745. DOI:10.1109/TNSRE.2016.2628057 |
| [20] |
Duan F, Lin DX, Li WY, et al. Design of a multimodal EEG-based hybrid BCI system with visual servo module. IEEE Transactions on Autonomous Mental Development, 2015, 7(4): 332-341. DOI:10.1109/TAMD.2015.2434951 |
| [21] |
von Lühmann A, Wabnitz H, Sander T, et al. M3BA: A mobile, modular, multimodal biosignal acquisition architecture for miniaturized EEG-NIRS-based hybrid BCI and monitoring. IEEE Transactions on Biomedical Engineering, 2017, 64(6): 1199-1210. DOI:10.1109/TBME.2016.2594127 |
| [22] |
Lee MH, Williamson J, Won DO, et al. A high performance spelling system based on EEG-EOG signals with visual feedback. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, 26(7): 1443-1459. DOI:10.1109/TNSRE.2018.2839116 |
| [23] |
Wang ZH, Yu Y, Xu M, et al. Towards a hybrid BCI gaming paradigm based on motor imagery and SSVEP. International Journal of Human-Computer Interaction, 2019, 35(3): 197-205. DOI:10.1080/10447318.2018.1445068 |
| [24] |
Chiarelli AM, Croce P, Merla A, et al. Deep learning for hybrid EEG-fNIRS brain-computer interface: Application to motor imagery classification. Journal of Neural Engineering, 2018, 15(3): 036028. DOI:10.1088/1741-2552/aaaf82 |
| [25] |
Jaeyoung S, Jinuk K, Chang-Hwan I. A ternary hybrid EEG-NIRS brain-computer interface for the classification of brain activation patterns during mental arithmetic, motor imagery, and idle state. Frontiers in Neuroinformatics, 2018, 12: 5. DOI:10.3389/fninf.2018.00005 |
| [26] |
Panicker RC, Puthusserypady S, Sun Y. An asynchronous P300 BCI with SSVEP-based control state detection. IEEE Transactions on Biomedical Engineering, 2011, 58(6): 1781-1788. DOI:10.1109/TBME.2011.2116018 |
| [27] |
Pfurtscheller G, Solis-Escalante T, Ortner R, et al. Self-paced operation of an SSVEP-based orthosis with and without an imagery-based " brain switch”: A feasibility study towards a hybrid BCI. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2010, 18(4): 409-414. DOI:10.1109/TNSRE.2010.2040837 |
| [28] |
Li YQ, Pan JH, Wang F, et al. A hybrid BCI system combining P300 and SSVEP and its application to wheelchair control. IEEE Transactions on Biomedical Engineering, 2013, 60(11): 3156-3166. DOI:10.1109/TBME.2013.2270283 |
| [29] |
Li YQ, Long JY, Yu TY, et al. An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential. IEEE Transactions on Biomedical Engineering, 2010, 57(10): 2495-2505. DOI:10.1109/TBME.2010.2055564 |
| [30] |
Long JY, Li YQ, Yu TY, et al. Target selection with hybrid feature for BCI-based 2-D cursor control. IEEE Transactions on Biomedical Engineering, 2012, 59(1): 132-140. DOI:10.1109/TBME.2011.2167718 |
| [31] |
Yu TY, Li YQ, Long JY, et al. Surfing the internet with a BCI mouse. Journal of Neural Engineering, 2012, 9(3): 036012. DOI:10.1088/1741-2560/9/3/036012 |
| [32] |
Yu TY, Li YQ, Long JY, et al. A hybrid brain-computer interface-based mail client. Computational and Mathematical Methods in Medicine, 2013, Article ID: 750934. DOI:10.1155/2013/750934 |
| [33] |
Pan JH, Xie QY, He YB, et al. Detecting awareness in patients with disorders of consciousness using a hybrid brain–computer interface. Journal of Neural Engineering, 2014, 11(5): 056007. DOI:10.1088/1741-2560/11/5/056007 |
| [34] |
Yu TY, Xiao J, Wang FY, et al. Enhanced motor imagery training using a hybrid BCI with feedback. IEEE Transactions on Biomedical Engineering, 2015, 62(7): 1706-1717. DOI:10.1109/TBME.2015.2402283 |
| [35] |
Long JY, Li YQ, Wang HT, et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, 20(5): 720-729. DOI:10.1109/TNSRE.2012.2197221 |
| [36] |
Belitski A, Farquhar J, Desain P. P300 audio-visual speller. Journal of Neural Engineering, 2011, 8(2): 025022. |
| [37] |
An XW, Höhne J, Ming D, et al. Exploring combinations of auditory and visual stimuli for gaze-independent brain-computer interfaces. PLoS One, 2014, 9(10): e111070. DOI:10.1371/journal.pone.0111070 |
| [38] |
Wang F, He YB, Pan JH, et al. A novel audiovisual brain-computer interface and its application in awareness detection. Scientific Reports, 2015, 5: 9962. DOI:10.1038/srep09962 |
| [39] |
Yin EW, Zeyl T, Saab R, et al. An auditory-tactile visual saccade-independent P300 brain–computer interface. International Journal of Neural Systems, 2016, 26(1): 1650001. DOI:10.1142/S0129065716500015 |
| [40] |
Rutkowski TM, Mori H. Tactile and bone-conduction auditory brain computer interface for vision and hearing impaired users. Journal of Neuroscience Methods, 2015, 244: 45-51. DOI:10.1016/j.jneumeth.2014.04.010 |
| [41] |
Leeb R, Sagha H, Chavarriaga R, et al. A hybrid brain–computer interface based on the fusion of electroencephalographic and electromyographic activities. Journal of Neural Engineering, 2011, 8(2): 025011. DOI:10.1088/1741-2560/8/2/025011 |
| [42] |
Hassan M, Kadone H, Ueno T, et al. Feasibility of synergy-based exoskeleton robot control in hemiplegia. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2018, 26(6): 1233-1242. DOI:10.1109/TNSRE.2018.2832657 |
| [43] |
Kato K, Takahashi K, Mizuguchi N, et al. Online detection of amplitude modulation of motor-related EEG desynchronization using a lock-in amplifier: Comparison with a fast Fourier transform, a continuous wavelet transform, and an autoregressive algorithm. Journal of Neuroscience Methods, 2018, 293: 289-298. DOI:10.1016/j.jneumeth.2017.10.015 |
| [44] |
Wang F, He YB, Qu J, et al. Enhancing clinical communication assessments Using an audiovisual BCI for patients with disorders of consciousness. Journal of Neural Engineering, 2017, 14(4): 046024. DOI:10.1088/1741-2552/aa6c31 |