基于改进StarGAN-V2的多域面部表情转移
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家重点研发计划“区块链”重点专项 (2023YFB2703900); 天津市科委重大专项 (15ZXDSGX00030)


Multi-domain Facial Expression Transfer Based on Improved StarGAN-V2
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    多域面部表情转移涉及不同图像之间的相互转换, 目的是生成具有源面部表情和目标面部身份特征的高逼真度面部图像, 解决传统方法生成图像相似度高和图像真实性低的问题. 本文提出了一种基于改进StarGAN-V2的多域面部表情转移模型, 该模型由生成器、鉴别器、映射网络和风格编码器组成, 引入了空间注意力机制, 并将循环一致性损失改进为对抗性循环一致性损失, 在生成器后增加了一个新的域反馈鉴别器. 该改进后的StarGAN-V2模型能够基于源图像和目标图像, 生成具有源面部表情和目标面部身份特征的高逼真度面部图像. 实验结果表明, 改进后的模型潜在引导合成和参考引导合成FID值为11.9 与17.4, LPIPS值为0.491与0.426, 均优于对照模型, 改进后的模型解决了图像相似度高的问题, 生成的图像也更加真实.

    Abstract:

    Multi-domain facial expression transfer entails the mutual transformation between different images to generate high-fidelity facial images with source facial expressions and target facial identity features, solve the problem of high similarity and low image authenticity of images generated by traditional methods. This study proposes a multi-domain facial expression transfer model based on the improved StarGAN-V2. The model consists of a generator, a discriminator, a mapping network, and a style encoder. The spatial attention mechanism is introduced, and the cycle consistency loss is upgraded to an adversarial cycle consistency loss. A new domain feedback discriminator is appended after the generator. The improved StarGAN-V2 model can generate high-fidelity facial images with source facial expressions and target facial identity features based on the source and target images. Experimental results show that for the improved model, the FID values of latent guided synthesis and reference guided synthesis are 11.9 and 17.4 respectively, and the LPIPS values are 0.491 and 0.426 respectively. These values are better than those of the control model. The improved model solves the problem of high image similarity and generates more realistic images.

    参考文献
    相似文献
    引证文献
引用本文

王春东,张浩龙.基于改进StarGAN-V2的多域面部表情转移.计算机系统应用,,():1-11

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-09-17
  • 最后修改日期:2024-10-30
  • 录用日期:
  • 在线发布日期: 2025-02-25
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号