基于局部区域相关信息的图像编辑算法
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金 (62271453); 国家自然科学基金联合基金 (U21A20524); 山西省自然科学基金 (202303021211147); 山西省基础研究计划 (20210302123025)


Image Editing Algorithm Based on Local Region Correlation Information
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对现有图像编辑方法存在编辑结果不自然、不能很好模拟图像闭塞内容的问题, 提出基于局部区域相关信息的图像编辑算法. 首先, 获取图像编辑区域和剩余区域的掩码, 使用预训练的StyleGAN2模型和掩码分别得到编辑区域和剩余区域的雅可比矩阵; 然后, 基于图像编辑区域变化最大和剩余区域变化最小的编辑思想, 将局部区域的语义发现制定为双层优化问题; 最后, 借助最优运输理论, 构建能够利用图像编辑区域和剩余区域相关信息来获取语义方向的算法, 该算法不仅具有闭合解而且效率较高. 实验结果表明, 与主流的局部图像编辑算法LowRankGAN、ReSeFa和SDFlow算法相比, 在编辑人脸图像中的嘴巴、眼睛等局部区域时, 本文算法能够很自然地模拟图像闭塞内容以及实现自然的图像编辑, 在保证了编辑后的图像质量的同时, 也实现了图像局部区域编辑, 证实了算法的可控性和有效性.

    Abstract:

    Addressing issues such as unnatural editing results and the inability to effectively simulate occluded content in images, an algorithm is proposed for image editing by discovering the semantic direction of local image regions. First, the masks of the editing region and the remaining region are obtained, and their Jacobian matrices are computed using a pre-trained StyleGAN2 model and the corresponding masks. Then, based on the principle that the editing region undergoes the most significant changes while the remaining region experiences minimal alterations, the semantic discovery of the local region is formulated as a two-layer optimization problem. Finally, leveraging optimal transport theory, an algorithm is proposed to determine the semantic direction by utilizing the correlation between the editing and remaining regions. This approach not only provides a closed-form solution but also ensures high efficiency. Experimental results demonstrate that, compared to mainstream local image editing algorithms such as LowRankGAN and ReSeFa, the proposed algorithm effectively simulates occluded content and achieves natural image editing, particularly when modifying facial features such as the mouth and eyes. While maintaining the quality of the edited image, it also enables precise local region editing, confirming the algorithm’s controllability and effectiveness.

    参考文献
    相似文献
    引证文献
引用本文

王志茹,蔺素珍,王彦博,李大威,侯骁伦.基于局部区域相关信息的图像编辑算法.计算机系统应用,,():1-11

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-09-11
  • 最后修改日期:2024-10-10
  • 录用日期:
  • 在线发布日期: 2025-04-30
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号