有监督多视图对比学习和两阶段双线性特征融合的人脸活体检测
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Face Anti-spoofing Based on Supervised Multi-view Contrastive Learning and Two-stage Bilinear Feature Fusion
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    本文提出了一种将多尺度频率特征和生成对抗网络(GAN)训练的深度图特征融合的多分支网络. 具体地, 高频特征中的边缘纹理信息有利于捕捉摩尔纹. 低频特征对色彩失真更为敏感. 作为辅助信息, 深度图在视觉层面上比 RGB 图像更具辨别力. 有监督多视图对比学习的应用进一步增强了多视图特征的学习. 此外, 还提出了两阶段双线性特征融合方法, 以融合来自不同视图的多分支特征. 为了评估该模型, 我们在4个广泛使用的公共数据集(CASIA-FASD、Replay-Attack、MSU-MFSD 和 OULU-NPU)上进行了消融实验, 特征融合对比实验, 单一数据集实验和跨数据集实验. 跨数据集实验结果表明, 本文模型在4种测试协议上的平均HTER比只使用RGB图转换为深度图(DFA)的方法好5% (20.3%减至15.0%).

    Abstract:

    In this study, a multi-branch network that integrates multi-scale frequency features and depth map features trained by generative adversarial network (GAN) is proposed. Specifically, edge texture information in high-frequency features is beneficial to capturing moire patterns. Low-frequency features are more sensitive to color distortion. Depth maps are more discriminative than RGB images from the visual level as auxiliary information. Supervised multi-view contrastive learning is employed to further enhance multi-view feature learning. Moreover, a two-stage bilinear feature fusion method is proposed to effectively integrate multi-branch features from different views. To evaluate the model, ablation experiments, feature fusion comparison experiments, intra-set experiments and inter-set experiments are conducted on four widely used public datasets, namely CASIA-FASD, Replay-Attack, MSU-MFSD, and OULU-NPU. The experiment result shows that the average HTER of the proposed model on the four tested protocols is 5% (20.3% to 15.0%) better than the DFA method in the inter-set evaluation.

    参考文献
    相似文献
    引证文献
引用本文

孙文赟,李进,金忠.有监督多视图对比学习和两阶段双线性特征融合的人脸活体检测.计算机系统应用,,():1-11

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-05-08
  • 最后修改日期:2024-05-29
  • 录用日期:
  • 在线发布日期: 2024-09-27
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号