监控场景下人脸图像质量分析技术的研究具有重要意义. 由于监控视频采集到人脸模糊、头部角度不正、被其他物体遮挡等的低质量图像进入识别系统会造成识别准确率下降. 为了解决上述问题, 通过实验, 研究了监控场景下影响图像质量的两个重要因素: 人脸角度、图像清晰度. 设计了基于聚类的人脸图像质量分析算法, 提出了人脸图像质量分数的计算公式, 实验表明该技术能够有效过滤监控视频下采集到的低质量图像, 进而提高人脸识别系统的准确率.
The research on quality analysis technology for face images in surveillance scenes is of great significance. Since the low-quality images collected from surveillance videos have blurred faces and incorrect head angles and are subjected to occlusion by other objects, the input of them into the recognition system can result in lower identification accuracy of the system. To solve the above problems, this work studies two important factors that affect image quality in surveillance scenes through experiments, namely, the face angle and image clarity. Thus, a quality analysis algorithm for face images based on clustering is designed, and a calculation method for scoring the quality of face images is proposed. The experiment proves that the technology can effectively filter the low-quality images collected in the surveillance videos and improve the accuracy of the face recognition system.
人脸识别系统目前被广泛应用在监控场景中, 从监控视频中快速并准确获取人脸身份信息对于公安破案等具有重要意义[
人脸图像质量分析作为图像质量分析的一部分, 在保留传统的图像质量分析方法基础上, 加入人脸特有的因素. 2009年, 国际标准化组织制定了关于人脸图像质量的 ISO/IEC 标准, 对多种参数做出了规定[
鉴于上述研究缺陷和问题本文选取人脸角度(
本文分析过程主要包含3大模块: 人脸角度计算、图像清晰度计算、基于聚类的人脸图像质量分析系统. 最后得到人脸图像质量分数. 算法流程图如
算法流程
首先分别训练人脸角度模型和图像清晰度模型, 得到对应的分数值, 之后设计基于聚类的人脸图像质量分析算法, 并设计聚类系统, 在前端调节两者的权重后可视化聚类结果, 计算聚类纯度, 最终确定人脸图像质量的计算公式.
(1) 概述: 人脸角度指的是根据一张二维的人脸图像, 计算出这个人在实际三维空间中的面部朝向. 即输入一张人脸图片, 输出表示方位的3个旋转角度 (
人脸角度的三维效果图
(2)本文使用方法: 由于人脸角度估计与头部姿态估计的输入输出值相同, 本文中使用头部姿态估计的经典方法, 利用先分类后回归的思想, 使用CNN预测
其中,
人脸角度算法流程图
(3)模型训练: 使用ALFW2000数据集, 包含2000多张不同的头部姿势图像, 训练集和测试集按照7:3的比例划分. 主要参数有:
1)学习率0.00001;
2)一次训练所取的样本数即batch size为16;
3) epochs为20;
4)权重系数
(1)概述: 图像清晰度和模糊度是相对的, 一张人脸图像清晰度越高, 则模糊度越低. 反之如此. 因此使用图像模糊度算法进行研究. 作为质量评价中的重要因素之一, 其方法主要分为两种情况: 一种是有参考算法, 即根据已有的图像, 来判断当前图像是否模糊; 另一种是无参考的算法, 判断图像是否模糊; 常见的图像清晰度算法主要有: Brenner 梯度函数, 它是最简单的梯度评价函数, 它的原理是计算相邻两个像素灰度差的平方; Tenengrad 梯度函数采用Sobel算子分别提取水平和垂直方向的梯度; Laplacian 梯度函数与Tenengrad梯度函数基本一致, 用Laplacian算子替代Sobel算子即可; SMD (灰度方差)函数当完全聚焦时, 图像最清晰, 图像中的高频分量也最多, 故可将灰度变化作为聚焦评价的依据, 常用的很多, 但都是在最简单的基础上进行优化和变换.
(2)本文使用方法: 由于摄像头下采集到的图片参差不齐, 将人脸图像的清晰度作为人脸识别其中一项关键的指标很有必要. 本文使用OpenCV结合拉普拉斯方差算法计算人脸的模糊度进而得到图像清晰度分数. 拉普拉斯算子是各向同性微分算子, 主要用来测量图像的二阶导数, 突出图片中强度快速变化的区域, 一个二维图像函数的拉普拉斯变换是各向同性的二阶导数[
其中,
本文设计了基于聚类的人脸图像质量分析算法, 该算法在传统的人脸识别流程的基础上加入图像质量分析和聚类, 如
基于聚类的人脸图像质量分析算法
为了方便可视化聚类结果, 开发了基于聚类的人脸图像质量分析系统, 通过调节图像清晰度
其中,
系统主要涉及两大部分的功能:
1)簇内聚类. 该模块的功能主要支持调节欧式距离, 计算各人脸图像到簇心之间的距离, 使用K-means聚类算法将相似的人聚在一类, 并随机可视化前200组聚类结果的人脸图像. 在每一个组图像下设置了判断该组人脸图像是否是同一人的选择框, 如
簇内聚类结果
2)簇间聚类. 在进行完上述的簇内聚类后, 已经筛选出聚类纯度较高的簇内距离, 接着调节簇间的阈值, 此处引入人脸图像质量的两个因素, 图像清晰度
簇间聚类结果
一个较为完整的人脸识别流程要经过以下几个步骤: 人脸检测、人脸对齐、提取特征、人脸识别. 本文在进行人脸检测后, 先根据检测到的人脸关键点进行人脸对齐校准(face alignment)操作, 校准之后的人脸
步骤1. 运行完人脸角度模型, 得到人脸的俯仰角、偏转角以及翻滚角, 将角度转化为分数值如下:
其中,
步骤2. 运行清晰度模型并得到对应的
步骤3. 簇内聚类. 采用本文研究的基于聚类的人脸图像质量分析技术, 对人脸识别结果聚类, 选择合适的聚类距离, 观察聚类效果.
步骤4. 簇间聚类. 调节前两步得到的
步骤5. 通过实验分析确定权重分别为0.6和0.4, 最终得到图像质量分数
其中,
由
不同参数下人脸图像的聚类纯度
距离 | 清晰度权重 | 角度权重 | 纯度 (%) |
0.45 | 0.3 | 0.7 | 77 |
0.4 | 0.6 | 80 | |
0.5 | 0.5 | 83 | |
0.7 | 0.45 | 84 | |
0.50 | 0.3 | 0.7 | 79.5 |
0.4 | 0.6 | 83 | |
0.5 | 0.5 | 85 | |
0.7 | 0.3 | 86 | |
0.60 | 0.3 | 0.7 | 85 |
0.4 | 0.6 | 87.5 | |
0.5 | 0.5 | 89.5 | |
0.7 | 0.3 | 91 |
为验证该研究技术的有效性, 本文使用某公司2021年2月到2021年5月之间采集到的监控视频, 对视频进行抽帧, 抽帧方法选取常用的帧差法, 即对相邻两帧作差分运算来获得运动目标轮廓. 抽出的图像在进行简单的检测和识别后, 最终包含有6000000张人脸图像, 为了进行实验对比, 得到更客观准确的实验结果, 本文将数据分为10个批次, 每个批次含有600000张图像, 其中训练集470000张, 测试集130000张进行验证.
对一批数据设置不同的阈值并对该阈值下的结果聚类可视化, 随机展示200组聚类结果, 计算聚类纯度. 通过研究发现, 加入人脸图像质量分析算法后, 图像的纯度相比没有质量过滤的纯度有很大的提高. 如
不同聚类距离下的人脸图像质量分析结果
距离 | 方法 | 纯度 (%) |
0.45 | 质量分析前 | 73.5 |
质量分析后 | 86.5 | |
0.50 | 质量分析前 | 78.5 |
质量分析后 | 89.5 | |
0.60 | 质量分析前 | 84 |
质量分析后 | 93 |
由
在10批数据上分别进行测试后, 采用基于聚类的人脸识别技术明显优于未加入质量分析的情况, 聚类纯度明显提升, 因此本文得到的人脸图像质量计算公式具有一定的适用性. 如
由于本文研究的人脸图像质量分析技术的目的是提高人脸识别系统的准确率, 此处的人脸识别系统采用某公司的门禁系统. 在未加入人脸图像质量分析前人脸识别Top10准确率79.56%, 采用本文技术, 目前识别准确率已经达到95.98%. 结果见
簇内距离在0.45时质量分析前后对比
簇内距离在0.50时质量分析前后对比
簇内距离在0.60时质量分析前后对比
加入质量分析前后人脸识别准确率比较 (%)
方法 | Top1 | Top10 |
质量分析前 | 69.32 | 79.56 |
质量分析后 | 91.27 | 95.98 |
将本批从监控场景下获取到的数据集在基于 AlexNet、GoogLeNet、CNN的人脸质量模型上测试后分别计算Top1和Top10, 虽然这些模型在公开数据集上有较好的表现, 但在监控场景中, 采用本文提出的人脸图像质量计算公式应用在识别系统中得到的结果优于其他方法. 如
本文研究了基于监控视频下的人脸图像质量分析技术, 该技术可有效过滤低质量图像进入识别系统, 提高人脸识别准确率. 该研究技术对于监控下的人脸识别有很大意义. 目前人脸图像质量分析的研究已经进入深度学习阶段, 但在特定场景下深度学习的方法未必达到较好的效果, 相信日后会有更好的方法解决此问题.
不同人脸图像质量分析方法在识别系统的表现
Li X F. Development status and changes of the face recognition market. China Security & Protection, 2020, (S1): 39–42. (查阅所有网上资料, 本条文献为中文文献、未找到本条文献翻译信息, 请联系作者确认)
Zhang KP, Zhang ZP, Li ZF,
Fang GN, Hu QH, Fang SY,
et al. Deep residual learning for image recognition. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2015. 770–778.]]>
et al. Going deeper with convolutions. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2014. 1–9.]]>
et al. SER-FIQ: Unsupervised estimation of face image quality based on stochastic embedding robustness. Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020. 5650–5659.]]>
王畅, 崔荣一, 金璟璇, 等. 基于人脸聚类的视频中人脸图像优选方法的研究. 激光与光电子学进展, 2019, 56(20): 201002.
et al. Face image quality assessment: A literature survey. ACM Computing Surveys, 2021.]]>
代欢欢, 谭生祥, 张旺. 头部姿态估计方法研究综述. 现代计算机, 2021, (7): 130–134.
林增敏, 洪朝群, 庄蔚蔚. 融合人脸跟踪和聚类的人脸图像去重方法. 计算机科学, 2020, 47(11A): 615–619.
et al. Diatom autofocusing in brightfield microscopy: A comparative study. Proceedings of the 15th International Conference on Pattern Recognition. Barcelona: IEEE, 2000. 314–317.]]>