呼吸率是衡量人体健康状况的重要指标之一. 针对现有呼吸率检测方法存在人体受测姿态单一、准确率低和鲁棒性差的问题, 提出适用于多种姿态下的人体呼吸率视觉检测方法. 该方法使用普通摄像机拍摄人体呼吸视频. 首先, 利用图像金字塔光流法处理视频连续图像得到运动前景区域, 将其中最大连通区域初步认定为胸腹呼吸区域. 然后, 将视频每一帧图像的呼吸区域输入复可控金字塔进行多尺度多方向空间分解, 得到多个尺度多个方向的幅度谱和相位谱. 在此基础上将每一帧的多个尺度多个方向相位谱用幅度谱加权后进行平均得到相位-时间信号. 最后, 对提取的信号进行判断, 若信号主频在呼吸信号频带范围内且能量占比高则对该信号通过峰值检测得到呼吸率, 否则重新选取视频连续图像进行后续检测. 实验结果表明, 本文方法适用于人体多种姿态下的呼吸率检测, 在准确率和鲁棒性上优于现有方法.
Respiratory rate is one of the important indicators of human health. To solve the problems of the existing respiratory rate detection methods including one single human posture and poor detection accuracy and robustness, this study proposes a visual detection method of human respiratory rate suitable for multiple postures. This method uses an ordinary camera to capture human breathing videos. The image pyramid optical flow is used to process continuous video images and thereby obtain the moving foreground region, wherein the largest connected area is preliminarily identified as the thoracoabdominal breathing area. Then, the breathing region in each frame of the video is input into the complex steerable pyramid for multi-scale and multi-directional spatial decomposition, and amplitude spectra and phase spectra on multiple scales and in multiple directions are obtained. On this basis, the phase spectra on multiple scales and in multiple directions of each frame are weighted by the amplitude spectra and then averaged to obtain the phase-time signal. Finally, decisions are made for the extracted signal. If the dominant frequency of the signal is within the frequency band of the respiratory signal and the energy proportion is high, the respiratory rate is obtained by peak detection of the signal. Otherwise, continuous video images are reselected for subsequent detection. The experimental results show that this method is suitable for respiratory rate detection in various postures and that it is superior to the existing methods in accuracy and robustness.
随着生活节奏的加快, 呼吸系统疾病已经成为了严重危害人们身体健康的频发病, 呼吸频率与人体健康状况息息相关, 定期监测呼吸率能够有效预防呼吸系统疾病. 最初, 接触式检测是呼吸率检测的主要方法, 包括阻抗式、心电图、温度传感器[
基于视频的非接触式呼吸率检测的原理是先选定呼吸运动检测区域, 通过提取检测区域像素点的亮度或者相位变化波形间接得到了呼吸率. 相较于传统的接触式呼吸率检测, 非接触式呼吸率检测成本低廉、不会对检测者造成不适. 不仅适合在普通医院里进行呼吸监测, 未来还可以广泛应用于家庭日常健康监测之中. 基于视频的呼吸率检测方法存在两个关键性问题: 如何准确的选定呼吸运动区域、如何提取出鲁棒性强的呼吸信号.
Alinovi等[
针对上述文献提出的方法中存在的检测场景受限、检测精度低的问题, 本文提出一种利用图像金字塔光流法和多尺度多方向相位信息的视频呼吸率检测方法. 通过图像金字塔光流法获得人体胸腹呼吸运动区域, 有效避免人脸检测对检测呼吸率时人体姿态的限制; 利用复可控金字塔提取多尺度多方向相位信息和幅度信息, 通过幅度信息对相位信息的加权增强了呼吸信号, 并对提取到的信号进行判断, 得到鲁棒性强的呼吸信号; 最终通过峰值检测得到呼吸率.
本文提出了一种基于视频分析的人体呼吸率检测方法.该方法主要实现步骤如下: 1)采集人体呼吸视频, 利用基于图像金字塔LK光流法处理视频连续图像得到运动前景区域[
本文方法框架图
胸腹部的一次起伏记为一次呼吸运动, 光流法是常用的运动检测算法, 刘今越等[
呼吸运动光流场
一般情况下, 室内呼吸检测时人体胸腹区域是视频中运动最大的区域, 首先将光流场运动矢量转化为二值化图像; 然后对二值化图像中的各连通域进行标记并且记录大小; 因为人体呼吸时胸腹部起伏具有运动范围大、整体性的特点, 所以最后选取其中最大连通域的最小外接矩形为最终的呼吸运动区域. 在提取呼吸区域时会因人体头部的大幅晃动或者视频采集区域有其他人走过等原因造成呼吸区域提取错误, 故在后续步骤会根据提取的呼吸区域信号对呼吸区域进行判断, 判断结果不合理则选择3 s后的连续图像提取呼吸区域.
相位信息和亮度信息都是蕴含在图像中的重要信息. Ghiglia等[
本文使用一维图像的像素分布
其中,
同样将式(3)分解, 则每个频率
容易观察得到:
由式(5)可得图像在
复可控金字塔是对图像在频域的多分辨率处理, 其实质是通过构建一组不同尺度、不同方向的频域滤波器对原图像进行频域滤波[
1) 设输入图像的宽度为
2) 复可控金字塔的带通模板和多方向模板相乘得到一层多方向滤波器[
3) 利用
输入复可控滤波器的呼吸区域包含着呼吸运动信号和其他干扰信号, 常见的干扰信号包括其他振动源以及人体轻微晃动带来的相位噪声等, 输入图像经复可控滤波器滤波后得到的幅度谱突出了振动区域的边缘, 利用幅度谱对相位谱进行加权, 可以增强呼吸信号, 提高信号信噪比. 对于第
相位差信号可以有效表征运动变化[
对于第
最后对
本文方法提取的呼吸波形
本文在呼吸运动区域提取中将二值化光流矢量图的最大连通区域作为呼吸区域, 在实际场景中, 却可能因为身体其他部位的大幅度晃动、其他人走过摄像机等原因导致呼吸区域提取错误, 故需要对提取信号的合理性进行判断.
记提取的呼吸信号为
呼吸率的频带范围在0.1–0.8 Hz, 若提取出的呼吸信号的最大峰值频率
本文使用峰值检测得到呼吸率, Ganfure[
常见的人体呼吸率检测姿态包括正坐、平躺、侧躺、平趴4种, 本节将设计3组对比实验来验证本文在上述4种姿态下的呼吸率检测的准确性和鲁棒性. 实验过程中使用型号为YX-1207的压电传感器记录呼吸波形作为实验真值, 如
YX-1207压电传感器记录的呼吸波形
实验采用普通摄像机拍摄人体在不同姿态下的呼吸视频, 分辨率为1280×720, 帧率为50 fps. 实验环境为室内, 实验者躺在泡沫垫上, 实验人体姿态包括正坐、平躺、平趴、侧躺4种, 摄像机距离人体约1.2 m, 同时使用笔记本电脑和型号为YX-1207的压电传感器记录呼吸波形以及波形峰值数作为实验真值. 实验场景如
实验场景示意图
实验使用呼吸信号波形的波峰数
其中,
第3个评价指标是均方根误差
均方根误差
实验以YX-1207压电传感器记录的呼吸波形峰值数作为真值并且复现文献[
本文对人体正坐、平躺、侧躺、平趴4种姿态使用图像金字塔光流法提取出的呼吸运动区域如
多种姿态呼吸区域提取结果图
YX-1207压电传感器及多种方法呼吸率检测结果(bpm)
编号 | 正坐 | 平躺 | 侧躺 | 平趴 | |||||||||||||||
真值 | 文献[ |
文献[ |
本文 | 真值 | 文献[ |
文献[ |
本文 | 真值 | 文献[ |
文献[ |
本文 | 真值 | 文献[ |
文献[ |
本文 | ||||
1 | 18 | 17 | 18 | 18 | 13 | 13 | 13 | 13 | 14 | 11 | 12 | 12 | 13 | 10 | 10 | 12 | |||
2 | 16 | 16 | 16 | 16 | 17 | 15 | 15 | 16 | 14 | 12 | 12 | 14 | 17 | 18 | 17 | 17 | |||
3 | 18 | 16 | 17 | 17 | 17 | 17 | 16 | 17 | 15 | 14 | 15 | 15 | 17 | 15 | 15 | 16 | |||
4 | 24 | 23 | 23 | 24 | 11 | 12 | 11 | 12 | 18 | 19 | 20 | 19 | 10 | 11 | 10 | 10 | |||
5 | 8 | 8 | 8 | 8 | 25 | 25 | 26 | 26 | 24 | 22 | 23 | 23 | 24 | 22 | 22 | 24 | |||
6 | 13 | 12 | 14 | 14 | 11 | 11 | 11 | 11 | 20 | 21 | 20 | 21 | 22 | 21 | 23 | 21 | |||
7 | 21 | 22 | 20 | 21 | 27 | 26 | 25 | 28 | 19 | 17 | 18 | 18 | 17 | 15 | 15 | 15 | |||
8 | 15 | 15 | 15 | 15 | 18 | 18 | 18 | 18 | 21 | 20 | 19 | 21 | 21 | 18 | 19 | 19 | |||
9 | 20 | 20 | 19 | 20 | 18 | 17 | 17 | 18 | 18 | 18 | 18 | 18 | 15 | 13 | 14 | 15 | |||
10 | 28 | 28 | 26 | 27 | 13 | 12 | 13 | 13 | 24 | 24 | 23 | 24 | 19 | 19 | 20 | 19 | |||
11 | 13 | 14 | 13 | 14 | 16 | 16 | 17 | 17 | 15 | 16 | 14 | 15 | 22 | 20 | 21 | 21 |
由
实验数据集在本文方法检测出的呼吸波峰数和YX-1207压电传感器记录值之间数据关系如
YX-1207压电传感器及多种方法实验数据分析结果
指标 | 正坐 | 平躺 | 侧躺 | 平趴 | ||||||||||||
文献[ |
文献[ |
本文 | 文献[ |
文献[ |
本文 | 文献[ |
文献[ |
本文 | 文献[ |
文献[ |
本文 | |||||
|
0.64 | 0.55 | 0.36 | 0.55 | 0.73 | 0.45 | 1.27 | 1.18 | 0.55 | 1.73 | 1.36 | 0.73 | ||||
|
96.27 | 96.88 | 97.77 | 96.56 | 96.29 | 97.37 | 92.21 | 93.68 | 97.13 | 87.30 | 92.22 | 96.54 | ||||
|
0.90 | 0.90 | 0.60 | 0.85 | 1.04 | 0.67 | 1.54 | 1.35 | 0.85 | 1.93 | 1.62 | 1.04 |
本文方法与记录值对比
4散点图中人体4种姿态下的实验数据集中于45度线周围, 最差的数据误差为2次/min, 表明本文方法在这人体4种姿态下的呼吸率检测与YX-1207压电传感器的记录值误差很小.
本文方法目的在于实现准确性高、鲁棒性强, 能适用于家庭健康监测的呼吸率检测方法, 为了验证本文方法稳定性, 本节将进行本文方法在不同衣服厚度和不同实验时长下的方法稳定性测试, 并与YX-1207压电传感器记录值对比.
使用视觉方法检测呼吸率, 衣服厚度会影响呼吸运动的起伏大小从而影响最终的检测效果. 实验环境如
不同衣服厚度本文方法检测平均准确率 (%)
衣服厚度 | 正坐 | 平躺 | 侧躺 | 平趴 |
T恤 | 97.77 | 97.37 | 97.13 | 96.54 |
毛衣 | 95.42 | 95.80 | 93.78 | 92.67 |
使用视觉方法检测呼吸率, 拍摄视频的时长也会影响呼吸率检测最终的结果[
不同时长实验视频本文方法检测平均准确率 (%)
姿态 | 60 s | 30 s | 10 s |
正坐 | 97.77 | 96.64 | 91.22 |
平躺 | 97.37 | 95.21 | 90.40 |
侧躺 | 97.13 | 94.33 | 90.47 |
平趴 | 96.54 | 93.78 | 88.35 |
本文方法目的在于检测人体在短时间(2 min)内的呼吸率, 当检测时间过长时因人体呼吸率的不断变化所以使用峰值检测提取的呼吸率并不能真实反映人体在这一段时间内的呼吸情况. 针对长时间的呼吸率检测每30 s使用本文方法得到一个呼吸率, 最终得到动态的呼吸率. 这种方法可以有效反映出一段时间内受测者的呼吸率变化情况, 可以有助于呼吸暂停综合症[
动态呼吸率检测对比
本文提出一种多种姿态下的人体呼吸率视觉检测方法. 首先, 利用图像金字塔光流法得到人体呼吸运动胸腹部区域. 然后, 将视频的每一帧图像中呼吸区域输入复可控金字塔进行多尺度多方向空间分解, 得到每一帧图像的多个尺度多个方向的幅度谱和相位谱, 使用幅度谱对相位谱进行加权增强呼吸运动信号, 接下来将每一帧的多个尺度多个方向相位谱进行平均得到初步的呼吸信号. 在此基础上, 如果提取的呼吸信号主频在呼吸信号频段内并且主频能量占比高则使用峰值检测得到最终的呼吸率. 本文以YX-1207压电传感器记录值为参考值, 与两种前沿的呼吸率检测方法进行了对比. 实验结果表明本文方法在人体正坐、平躺、侧躺、平趴4种姿态下均具有良好的准确性和鲁棒性, 拓宽了呼吸率检测的应用场景. 然而, 本文方法仍有改进的空间. 如何减小相机晃动、人体挪动带来的误差, 以及在有其他干扰振动源的情况下准确提取出人体呼吸区域, 将会是未来研究的重点.
严旭, 刘洪英, 贾子如, 等. 呼吸频率检测技术研究现状. 北京生物医学工程, 2017, 36(5): 545–549.
彭昊, 彭敏, 赵林, 等. 基于陶瓷压电传感器的睡眠检测系统. 传感器与微系统, 2019, 38(5): 97–99, 103.
et al. Spatio-temporal video processing for respiratory rate estimation. IEEE International Symposium on Medical Measurements & Applications. Turin: IEEE, 2015. 12–17.]]>
Wu HY, Rubinstein M, Shih E,
戴阳, 郑婷婷, 杨雪. 基于视频放大与盲源分离的非接触式心率检测. 计算机系统应用, 2021, 30(1): 228–234.
霍亮, 杨学志, 李江山, 等. 适用于昼夜环境的呼吸率视频检测. 中国图象图形学报, 2018, 23(1): 144–154.
Siam AI, El-Bahnasawy NA, El Banby GM,
刘今越, 刘浩, 贾晓辉, 等. 基于视觉的非接触呼吸频率自动检测方法. 仪器仪表学报, 2019, 40(2): 51–58.
Bouguet JY. Pyramidal implementation of the Lucas Kanade feature tracker. Open Source Computer Vision Library (2003).
宋正伟, 陈鲸, 杨学志, 等. 基于振动相位信号分解的非接触式心率检测. 计算机系统应用, 2021, 30(10): 171–179.
Wadhwa N, Rubinstein M, Durand F,
et al. A robust object detection algorithm based on background difference and LK optical flow. 2014 11th International Conference on Fuzzy Systems & Knowledge Discovery. Xiamen: IEEE, 2014. 554–559.]]>
Portilla J, Simoncelli EP. A parametric texture model based on joint statistics of complex wavelet coefficients. International Journal of Computer Vision, 2000, 40(1): 49–70.
Ganfure GO. Using video stream for continuous monitoring of breathing rate for general setting. Signal, Image and Video Processing, 2019, 13(7): 1395–1403.
孟泽民, 林生生. 基于神经网络的家用型睡眠呼吸暂停综合症监测系统. 计算机系统应用, 2014, 23(3): 220–223, 131.