多属性无监督人脸风格翻译
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

四川省科技厅重点研发计划(2021YFQ0053, 2022YFG0152); 四川省科技成果转移转化示范项目(2023ZHCG0018); 四川省高等教育人才培养质量和教学改革项目(JG2021-1015); 成都信息工程大学本科教育教学研究与改革项目暨本科教学工程(JYJG2022131)


Multi-attribute Unsupervised Face Style Translation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    针对现有人脸图像翻译模型不能实现多个视觉属性之间的翻译及翻译后的人脸图像不清晰自然的问题, 提出了基于人脸识别方法的人脸多属性图像翻译模型. 模型主要由内容和风格编码器、AdaIN解码器以及人脸识别模块构成. 首先, 两个编码器提取内容和风格图像的潜在编码, 然后将编码送入到AdaIN层中仿射变换, 最后解码器还原翻译后的图像. 该方法设计并训练了一个准确率90.282%的人脸识别模型并提出了一种联合人脸属性损失函数, 增强了模型对风格人脸的属性的关注程度, 解决了模型不能准确提取到人脸的属性信息以及摒弃了无关信息, 使得模型能够生成清晰的、多属性的, 多样的人脸翻译图像. 该方法在公开的数据集CelebA-HQ实验并在定量和定性指标上都高于基线方法, 在不同的人脸朝向时也表现出良好的鲁棒性. 模型生成的图像还能应用于人脸图像生成领域, 解决数据集匮乏等问题.

    Abstract:

    To tackle the problem that the existing face image translation models cannot realize the translation among multiple visual attributes and the translated face images are not clear and natural, this study proposes a multi-attribute face image translation model based on the face recognition method. The model is mainly composed of the content and style encoder, AdaIN decoder, and face recognition module. First, the two encoders extract the potential encoding of the content and style image and then send the encoding into the AdaIN layer for affine transformation, and finally the decoder restores the translated image. A face recognition model is designed and trained using this method with an accuracy rate of 90.282%. A joint face attribute loss function is proposed, which enhances the model’s attention to the attributes of the style face, solves the problem that the model cannot accurately extract the attribute information of the face, and discards irrelevant information so that the model can generate clear, multi-attribute, and diverse face translation images. This method is tested on the open dataset CelebA-HQ, whose results are higher than the baselines in terms of both quantitative and qualitative indicators. It also shows good robustness in different face orientations. The image generated by the model can also be used in the field of face image generation to address dataset shortage.

    参考文献
    相似文献
    引证文献
引用本文

朱剑锋,郑熠,廖聪慧,李孝杰,梁梦娇.多属性无监督人脸风格翻译.计算机系统应用,2023,32(6):12-21

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-12-07
  • 最后修改日期:2023-01-06
  • 录用日期:
  • 在线发布日期: 2023-04-20
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号