2021, Vol. 30
2. 天津理工大学 机械工程学院 机电工程国家级实验教学示范中心, 天津 300384;
3. 天津理工大学中环信息学院, 天津 300380;
4. 军事科学院系统工程研究院 卫勤保障技术研究所, 天津 300161
2. National Demonstration Center for Experimental Mechanical and Electrical Engineering Education, School of Mechanical Engineering, Tianjin University of Technology, Tianjin 300384, China;
3. Zhonghuan Information College Tianjin University of Technology, Tianjin 300380, China;
4. Institute of Medical Support Technology, Academy of System Engineering of Academy of Chinese PLA Military Science, Tianjin 300161, China
近年来, 越来越多的下肢外骨骼机器人被应用在医疗、军事、工业等领域[1]. 在这些设备的控制中, 准确的步态数据检测和识别显得尤为重要. 通过深入研究, 下肢外骨骼已朝着更智能的人机协作方向发展, 许多研究者通过检测穿戴者的运动意图来提高步态识别能力, 从而增强人机协调能力[2,3].
以往对不同步态数据检测的研究主要通过肌电(EMG)传感器[4]、惯性(IMU)传感器[5]、足压传感器[6]和电容传感器[7]等实现. 例如Kuang等[8]利用胶水将足底压力传感器粘贴在鞋垫上, 将肌电传感器直接粘贴在受试者的小腿皮肤上来采集人体步态数据. 但由于粘贴不牢靠和肌肉的特殊性, 这些信号是不稳定的, 对受试者产生了很大不便. 惯性传感器和电容传感器都需要绑带绑在人体身上采集数据, 不同的是电容传感器受到了皮肤状况和汗液的影响[9,10]. 采集到的数据需要特征提取和分类器识别. Li等[11]使用绝对值和方差积分特征提取, 支持向量机作为分类器来识别五种步态, 最终证明个体差异和样本大小都会影响步态分类的准确性. Wu等[12]提出了一种基于简化支持向量机的下肢运动识别多分类算法, 成功识别站立、行走和上下楼梯的运动. Antwi-Afari等[13]研究建筑工人失衡步态检测的最佳分类方法, 发现随机森林、K近邻、支持向量机比其他分类器表现更好.
上述工作主要通过不同传感器采集人体数据、提取特征和选择分类器来提高步态识别准确率. 尽管这些方法在一定程度可以有效提高步态识别准确率, 但这一领域的研究范围和深度仍不够. Lee等[14]证明,由于可变环境因素的影响, 无法保证步态识别的性能,最常见的可变因素有人体负重、行走速度、传感器的选择等; 此外, 不同传感器位置和动作幅度也是两个不容忽视的因素. 有学者基于肌电图研究了不同传感器位置步态识别的影响. 例如Huang等[15]研究表面肌电在左右大腿、左右小腿对8种步态识别的影响,结果平均准确率达到92.23%. 尽管有这些出色的结果,但这并不意味着基于IMU的步态识别在不同传感器位置肯定存在同样的结论, 基于IMU的不同转弯角度对步态识别的影响鲜有报道. 此外针对时间序列特征提取是一个非常耗时的过程, 因为科学家和工程师必须考虑各种信号处理和时间序列分析的算法, 来识别和提取有意义的时间特征序列. Chinimilli等[16]提出包括加速度、角速度在内的平均值、标准差、平均绝对差、平均合成加速度、峰值之间的时间等86个特征提取算法, 但特征提取的过程较为复杂, 应用范围局限.
为了提升人体步态识别准确率和实用性, 我们采用一种基于Tsfresh工具和监督机器学习随机森林算法(RF)来完成步态模式获取. Tsfresh工具用于自动提取过滤步态时间序列特征, 监督机器学习随机森林算法(RF)用于判定步态模式. 实验环节我们招募4名健康的志愿者进行实验, 两个IMU传感器分别绑定在受试者的左大腿前面和右小腿后面, 让受试者模拟九种步态事件(如站立、坐立、平地行走、上楼梯、下楼梯、转弯30度、转弯60度、转弯90度和转弯180度)来收集加速度、角速度、角度等数据. 然后将采集的步态数据通过无线蓝牙5.0传到计算机. 结果表明: 在人体不同传感器位置和不同转弯角度步态下, 基于Tsfresh-RF的算法模型鲁棒性较好, 是一种有效的、准确的步态识别方法.
本文的其余部分组织如下. 第1节描述了识别算法包括特征提取和分类算法. 第2节详细介绍了实验的过程和方法. 第3节是实验结果与分析数据, 包括不同传感器位置对步态识别影响、3种算法的比较结果以及转弯角度的变化对算法识别准确率的影响. 第4节得出结论.
1 Tsfresh-RF算法本文提出一种基于Tsfresh时间序列特征提取和RF的人体步态识别算法模型. 步态数据获取采用一种无线多通道传感器装置, 通过蓝牙5.0与计算机连接. 具体步态识别流程如图1所示.
1.1 Tsfresh特征提取采集人体下肢步态信息时, 两个传感器采集到的数据通过蓝牙同时上传到计算机, 所以首先需要分割IMU1和IMU2的数据, 其次需要特征提取, 特征提取的主要目的是对原始加速度、角速度、角度等信号进行降维, 降低模式识别和分类的复杂性, 进而提高步态识别和分类的效率[17]. 因此, 提取范围广、复杂度低、效率高的特征至关重要[18]. 本文提取的原始数据为时间序列, 时间序列是在时间上连续进行的观测序列[19]. 本文采用一种Python包Tsfresh工具来提取特征, 与传统特征提取方法相比, 该算法效率高和范围广, 且能自动地计算出大量的时间序列特征[20]. 时间序列通常包含噪声、冗余或无关信息. 为了避免提取不相关的特性, Tsfresh有一个内置的过滤过程. 具体流程如图2所示.
|
图 1 基于Tsfresh-RF算法的步态识别流程 |
|
图 2 Tsfresh特征提取基本流程 |
本文初步提取13734个特征, 然后将空值和无效值去掉, 最后利用Tsfresh的特征选择功能进一步过滤掉对识别结果影响不明显的特征, 得到6993个特征数量.
1.2 RF分类算法随机森林分类器是一种用于分类的集成学习技术,由多个决策树组成. 该方法有助于减少模型方差和最小化训练数据集的过拟合[21]. 由于RF分类器中的每个节点被分割成有限数量的随机预测变量, 因此相对于SVM和人工神经网络（ANN）等其他分类器, 它被认为是更强大的分类器[22]. 其算法如算法1.
算法1. RF分类器
输入: 训练集
输出: 测试样例x的类别标签
1. for(
2. 从训练集T中按一定比例有放回地随机抽取一个子集
3. end for
4. for(
5. 从d个属性中, 随机地抽取m个属性;
6. 用决策树树算法在包含m个列的样例集
7. end for
8. 采用投票机制, 用决策森林
9. 输出x的类别y.
为了识别不同类型的步态, 机器学习分类器需要从IMU提取的数据特征学习独特的信号模式. Antwi-Afari等[13]研究了基于足底压力的建筑工人失衡步态检测的最佳分类方法, 发现随机森林、K近邻、支持向量机比其他分类器表现更好. 然而, 由于分类器的性能取决于数据类型和特征类型, 大多数研究表明, 不存在单一的最佳分类器[23]. 因此有必要测试不同的分类器. 本研究还将支持向量机和朴素贝叶斯分类器作为对比.
支持向量机(SVM)是一种基于统计学的机器学习方法. 支持向量机通常在许多二分类问题或多分类问题中表现出出色性能. 它是在各类之间寻找最优的分离决策超平面, 并使每个类的模式[24]之间的距离最大. 通过使用核函数将数据集映射到内积空间, 从而创建一个非线性结构, 它可以受益于转换特征空间中的最大边缘超平面[25].
朴素贝叶斯, 它是一种简单但极为强大的预测建模算法. 它的基本思想是根据给定的待分类数据, 分别求解在该数据属于各个目标类别的概率, 概率最大的类别即为最终的类别, 如式(1)所示.
| $p({y_i}{\rm{|}}x) = \max \left\{ {p({y_1}{\rm{|}}x)} \right.,p({y_2}{\rm{|}}x), \cdots ,\left. {p({y_n}{\rm{|}}x)} \right\}$ | (1) |
其中,
在朴素贝叶斯中,特征属性之间相互独立的, 因此
| $p\left( {{y_i}|x} \right) = \frac{{p\left( {x|{y_i}} \right)p\left( {{y_i}} \right)}}{{p\left( x \right)}} = \frac{{\displaystyle\prod\nolimits_j^m {p\left( {{\alpha _j}|{y_j}} \right)} }}{{p\left( x \right)}}$ | (2) |
其中,
为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化处理, 将数据按照比例进行缩放, 使之落入一个特定的区域, 便于进行综合分析. 我们采用零-均值规范化即标准差标准化, 经过处理的数据的均值为0, 标准差为1. 公式为:
| ${x^*} = \frac{{x - \overline x }}{\sigma }$ | (3) |
其中,
同时为了得到可靠稳定的分类模型, 我们利用五折交叉验证法评估识别准确率. 将所选数据随机分成5份, 每一次将其中1份作为测试数据, 其余4份作为训练数据, 这个过程共进行5次.
整体识别准确率(RA)的计算方法为:
| $RA = \frac{{{N_{\rm corr}}}}{{{N_{\rm total}}}}$ | (4) |
其中,
由于某些步态更容易被错误地识别为其他步态, 因此建立混淆矩阵C来量化误差, 公式如下:
| $ C = \left[ {\begin{array}{*{20}{c}} {{c_{11}}}&{{c_{12}}}& \cdots &{{c_{19}}}\\ {{c_{21}}}&{{c_{22}}}& \cdots &{{c_{29}}}\\ \vdots & \vdots & \cdots & \vdots \\ {{c_{91}}}&{{c_{92}}}& \cdots &{{c_{99}}} \end{array}} \right] $ | (5) |
每个元素计算如下:
| $ {C_{ij}} = \frac{{{n_{ij}}}}{{{n_i}}} $ | (6) |
其中,
本系统选用了基于ICM42605的九轴姿态传感器来实现对人体运动状态的测量与跟踪. WT52HB 是一种USB 适配器模块, 内置nRf52832 蓝牙芯片. 该蓝牙适配器传输稳定, 最远距离可达50米. 在识别系统开始时, 同步采集两个IMU传感器数据信号. 每个IMU生成9个通道数据, 包括角度3个通道(偏转、横摇、俯仰), 加速度3个通道(AccX、AccY、AccZ), 角速度3个通道(GryoX、GryoY、GryoZ). 考虑到传输效率和信息质量, 我们将采样频率设为50 Hz, 与其他研究者[26]相同. 传感器采集到的信号通过蓝牙模块传输到电脑端进行滤波、分割、特征提取和归一化等数据处理. 然后将处理好的数据输送给3个分类器训练分类器模型. 最后, 从分类器的输出结果评价不同传感器位置和不同步态对识别结果的影响.
在研究中, 我们招募了4名身体健全的男性志愿者. 年龄范围: 25–26岁; 身高范围: 163.0–177.0 cm; 体重范围: 57–71 kg. 实验在温度、湿度和通风条件适宜的环境下进行. 这项实验是根据《赫尔辛基宣言》的原则进行的.
为最大限度获得有效人体运动信息, 传感器节点的位置应慎重选择. 根据人体下肢运动生物力学[27], 我们选择人体下肢左大腿和右脚踝靠上部位放置姿态传感器. 如图3所示.
|
图 3 IMU1模块在左大腿(左); IMU2模块在右脚踝靠上部位(右上); 蓝牙模块和传感器绑带(右下) |
2.2 具体步骤
实验前, 被试者需满足以下要求: 首先, 熟悉相关实验设备, 如IMU、PC、秒表、绑带等; 其次, 不允许进行体育锻炼, 以避免疲劳所引起的并发症; 最后, 穿轻薄长裤, 以有效固定姿态传感器, 从而更有效的采集步态数据.
实验研究了站立(ST)、坐立(SI)、上楼梯 (SA)、下楼梯 (SD)、平地正常行走(NW)、转弯30度(T30)、转弯60度(T60)、转弯90度(T90)、转弯180度(T180) 9种运动模式. 每种步态测试8次.
在每次试验中, 当受试者准备好, 他们会向工作人员发送指令来收集信号. 实验开始时, 受试者要求先直立站5 s使传感器数据平稳.在站立实验中受试者被要求在每次试验中保持静止5 s; 在坐立实验中, 受试者被安排坐在42 cm高的椅子上坐立5 s. 在一个宽75 cm, 深30 cm, 高15.6 cm的台阶上进行上下楼梯实验, 每次实验为3个步态周期即8步. 平地正常行走要求受试者按照自己习惯速度在平地向前行走18步. 在转弯步态研究中, 我们提前设计好30度、60度、90度、180度的左转弯测试角, 受试者从转弯开始到结束约3个步态周期即9步.
每次实验结束后, 要求受试者休息5分钟, 以消除因运动引起的疲劳, 避免对下次实验产生负面影响.
3 结果与讨论 3.1 传感器位置对识别算法影响从表1可以看出, 9种(ST、SI、NW、SA、SD、T30、T60、T90、T180)步态的测试平均识别准确率差异显著, 最高为0.91, 最低为0.65. ST、SD的步态子阶段识别表现最好, 在所有子阶段都取得了相对较高的准确率. T180表现最差, 步态识别准确率都在0.74以下. 步态T30出现了0.30、0.25的特殊情况, 这可能和识别分类器有关.
|
表 1 9种步态识别准确率 |
为了验证Tsfresh-RF算法模型识别性能, 我们分别使用SVM和NB算法来对比分析. 结果如图4所示, RF算法性能明显高于其它两个算法, 不仅准确率相对较高, 而且步态识别稳定性较强. 另外两个IMU同时识别能够有效提高识别准确率. IMU1和IMU2相比较IMU2对识别结果影响显著. 由此说明传感器位置的放置对步态识别有重要影响. 当步态训练数据来自更多位置传感器时, 步态识别更加准确.
|
图 4 不同传感器位置平均识别率 |
图5进一步说明了随机森林算法在每种步态识别中的优越性. 其中针对SI、T30两种步态支持向量机也表现出一定的分类能力. 朴素贝叶斯分类器表现相对较差, 只有在SA步态识别时3个分类器识别率相同.
|
图 5 不同分类器在每种步态下识别率 |
3.2 转弯角度对识别算法影响
此外, 为了进一步研究转弯角度对步态识别的影响, 实验分别测试了志愿者在转弯30度、60度、90度和180度情况下的步态. 如图6显示了不同转弯角度的识别率. 发现RF表现出较高的准确率, T60、T90两种步态普遍比T30、T180两种步态识别率高. 从转弯幅度分析4种步态准确率从小到大分别是T180、T30、T60、T90. 即在一定范围内, 步态转弯幅度越大步态识别率越高.
3.3 混淆矩阵9种步态被3种分类器训练和测试, 总体结果如图7所示. 在矩阵中, 横坐标表示真实值、纵坐标表示预测值. 蓝色越深意味着越高的步态识别精度. 主对角线显示的数据是真实值和预测值相同的数据. 非主对角线的数据显示的是真实值和预测值不一样的数据. 从每个分类器的混淆矩阵中可以看出, 不同分类器对步态识别结果有很大影响且RF准确性更高一些. 用于训练和预测的数据来自不同步态的情况下, 结果差异明显. 这说明不同步态识别对结果具有很大影响. 例如NB用T30训练和用T30、T60、T90、T180预测的结果(分别为0.25、0.35、0.10、0.30). 在其他分类器SVM和RF中也发现了类似的结果. 在SVM中用步态SA的数据进行训练, 用SI数据进行预测(SA-SI: 0.25)表现最差. RF最差结果来自SA-SI(0.25). 在NB中, SD-SA和T30-T60表现最差, 分别为0.40和0.35.
|
图 6 不同转弯角度识别准确率 |
4 结论与展望
本文采用一种蓝牙无线多通道信号采集装置来采集人体下肢的加速度、角速度、角度等信号. 传感器分别固定在下肢不同位置, 4名健康的志愿者进行实验, 模拟九种步态事件. 提出了一种基于Tsfresh-RF特征提取的人体步态识别算法模型. 同时采用支持向量机和朴素贝叶斯进行比较. 结果表明: (1)在两个传感器同时识别下, Tsfresh-RF获得了最佳分类效果, 9种步态平均准确率达到91.0%; (2)传感器布置位置对步态识别的准确性有显著影响, 其中小腿的影响大于大腿且在一定范围内传感器布置越多准确率越高; (3)转弯步态识别率T180<T30<T60<T90, 且RF表现出较好识别率.可以得出结论: 在人体不同传感器位置和不同转弯角度步态下, 基于Tsfresh-RF的步态识别算法模型鲁棒性更好, 可以实现更精确的人体步态识别. 此外步态识别系统训练在单一位置传感采集是不够的且动作幅度大小会影响识别准确率. 在未来的研究中, 应考虑步态识别系统与外骨骼系统的结合. 此外, 还需要研究实时步态的识别方法.
|
图 7 3种分类器下步态识别准确率矩阵 |
| [1] |
Gardner AD, Potgieter J, Noble FK. A review of commercially available exoskeletons’ capabilities. Proceedings of the 24th International Conference on Mechatronics and Machine Vision in Practice. Auckland, New Zealand. 2017. 21–23.
|
| [2] |
Lim DH, Kim WS, Kim HJ, et al. Development of real-time gait phase detection system for a lower extremity exoskeleton robot. International Journal of Precision Engineering and Manufacturing, 2017, 18(5): 681-687. DOI:10.1007/s12541-017-0081-9 |
| [3] |
Bortole M, Venkatakrishnan A, Zhu FS, et al. The H2 robotic exoskeleton for gait rehabilitation after stroke: Early findings from a clinical study. Journal of NeuroEngineering and Rehabilitation, 2015, 12: 54. DOI:10.1186/s12984-015-0048-y |
| [4] |
Meng W, Liu Q, Zhou ZD, et al. Active interaction control applied to a lower limb rehabilitation robot by using EMG recognition and impedance model. Industrial Robot: An International Journal, 2014, 41(5): 465-479. DOI:10.1108/IR-04-2014-0327 |
| [5] |
Khandelwal S, Wickström N. Evaluation of the performance of accelerometer-based gait event detection algorithms in different real-world scenarios using the MAREA gait database. Gait & Posture, 2017, 51: 84-90. |
| [6] |
Wang XG, Wang QN, Zheng EH, et al. A wearable plantar pressure measurement system: Design specifications and first experiments with an amputee. In: Lee S, Cho H, Yoon KJ, et al. eds. Intelligent Autonomous Systems 12. Berlin, Heidelberg: Springer, 2013. 273–281.
|
| [7] |
Chen BJ, Zheng EH, Fan XD, et al. Locomotion mode classification using a wearable capacitive sensing system. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2013, 21(5): 744-755. DOI:10.1109/TNSRE.2013.2262952 |
| [8] |
Kuang YX, Wu Q, Shao JK, et al. Extreme learning machine classification method for lower limb movement recognition. Cluster Computing, 2017, 20(4): 3051-3059. DOI:10.1007/s10586-017-0985-2 |
| [9] |
Chamroukhi F, Mohammed S, Trabelsi D, et al. Joint segmentation of multivariate time series with hidden process regression for human activity recognition. Neurocomputing, 2013, 120: 633-644. DOI:10.1016/j.neucom.2013.04.003 |
| [10] |
Zheng EH, Chen BJ, Wei KL, et al. Lower limb wearable capacitive sensing and its applications to recognizing human gaits. Sensors, 2013, 13(10): 13334-13355. DOI:10.3390/s131013334 |
| [11] |
Li Y, Gao FR, Chen HH, et al. Gait recognition based on EMG with different individuals and sample sizes. Proceedings of the 35th Chinese Control Conference (CCC). Chengdu, China. 2016. 4068–4072.
|
| [12] |
Wu JF, Wu Q, Sun SQ. Research on classification algorithm of reduced support vector machine for low limb movement recognition. China Mechanical Engineering, 2011, 22(4): 433-438. |
| [13] |
Antwi-Afari MF, Li H, Seo JO, et al. Automated detection and classification of construction workers’ loss of balance events using wearable insole pressure sensors. Automation in Construction, 2018, 96: 189-199. DOI:10.1016/j.autcon.2018.09.010 |
| [14] |
Lee SW, Yi T, Han JS, et al. Walking phase recognition for people with lower limb disability. Proceedings of the 10th International Conference on Rehabilitation Robotics. Noordwijk, the Netherlands. 2007. 13–15.
|
| [15] |
Huang H, Kuiken TA, Lipschutz RD. A strategy for identifying locomotion modes using surface electromyography. IEEE Transactions on Biomedical Engineering, 2009, 56(1): 65-73. DOI:10.1109/TBME.2008.2003293 |
| [16] |
Chinimilli PT, Redkar S, Zhang WL. Human activity recognition using inertial measurement units and smart shoes. Proceedings of 2017 American Control Conference. Seattle, WA, USA. 2017. 1462–1467.
|
| [17] |
Zhang XF, Sun SQ, Li C, et al. Impact of load variation on the accuracy of gait recognition from surface EMG signals. Applied Sciences, 2018, 8(9): 1462. DOI:10.3390/app8091462 |
| [18] |
Hudgins B, Parker P, Scott RN. A new strategy for multifunction myoelectric control. IEEE Transactions on Biomedical Engineering, 1993, 40(1): 82-94. DOI:10.1109/10.204774 |
| [19] |
Box GEP, Jenkins GM, Reinsel GC, et al. Time Series Analysis: Forecasting and Control, 5th Edition. Wiley, 2015.
|
| [20] |
Christ M, Braun N, Neuffer J, et al. Time Series FeatuRe Extraction on basis of Scalable Hypothesis tests (tsfresh – A Python package). Neurocomputing, 2018, 307: 72-77. DOI:10.1016/j.neucom.2018.03.067 |
| [21] |
Xia XJ, Togneri R, Sohel F, et al. Random forest classification based acoustic event detection utilizing contextual-information and bottleneck features. Pattern Recognition, 2018, 81: 1-13. DOI:10.1016/j.patcog.2018.03.025 |
| [22] |
Wang ZH, Yang ZC, Dong T. A review of wearable technologies for elderly care that can accurately track indoor position, recognize physical activities and monitor vital signs in real time. Sensors, 2017, 17(2): 341. DOI:10.3390/s17020341 |
| [23] |
Liang SY, Ning YK, Li HQ, et al. Feature selection and predictors of falls with foot force sensors using KNN-based algorithms. Sensors, 2015, 15(11): 29393-29407. DOI:10.3390/s151129393 |
| [24] |
Preece SJ, Goulermas JY, Kenney LPJ, et al. Activity identification using body-mounted sensors—A review of classification techniques. Physiological Measurement, 2009, 30(4): R1-R33. DOI:10.1088/0967-3334/30/4/R01 |
| [25] |
Pradhan C, Wuehr M, Akrami F, et al. Automated classification of neurological disorders of gait using spatio-temporal gait parameters. Journal of Electromyography and Kinesiology, 2015, 25(2): 413-422. DOI:10.1016/j.jelekin.2015.01.004 |
| [26] |
Duan P, Li SL, Duan ZP, et al. Bio-inspired real-time prediction of human locomotion for exoskeletal robot control. Applied Sciences, 2017, 7(11): 1130. DOI:10.3390/app7111130 |
| [27] |
Kyeong S, Shin W, Yang MJ, et al. Recognition of walking environments and gait period by surface electromyography. Frontiers of Information Technology & Electronic Engineering, 2019, 20(3): 342-352. |