###
计算机系统应用英文版:2021,30(7):32-40
←前一篇   |   后一篇→
本文二维码信息
码上扫一扫!
融合双注意力与多标签的图像中文描述生成方法
(1.东北石油大学 计算机与信息技术学院, 大庆 163318;2.中国石油天然气股份有限公司 冀东油田分公司 信息中心, 唐山 063004)
Chinese Image Caption with Dual Attention and Multi-Label Image
(1.School of Computer & Information Technology, Northeast Petroleum University, Daqing 163318, China;2.Information Center, Jidong Oilfield Branch, PetroChina Co. Ltd., Tangshan 063004, China)
摘要
图/表
参考文献
相似文献
本文已被:浏览 936次   下载 2047
Received:October 22, 2020    Revised:November 28, 2020
中文摘要: 图像描述是目前图像理解领域的研究热点. 针对图像中文描述句子质量不高的问题, 本文提出融合双注意力与多标签的图像中文描述生成方法. 本文方法首先提取输入图像的视觉特征与多标签文本, 然后利用多标签文本增强解码器的隐藏状态与视觉特征的关联度, 根据解码器的隐藏状态对视觉特征分配注意力权重, 并将加权后的视觉特征解码为词语, 最后将词语按时序输出得到中文描述句子. 在图像中文描述数据集Flickr8k-CN、COCO-CN上的实验表明, 本文提出的模型有效地提升了描述句子质量.
Abstract:Image caption represents a research hotspot in the field of image understanding. In view of the poor quality of sentences, we propose Chinese image caption combining dual attention and multi-label images. We extract visual features and multi-label text firstly, and then use multi-label text to enhance the correlation between the hidden state of the decoder and visual features. Next, we redistribute attention weights to the visual features according to the hidden state of the decoder and decode the weighted features into words. Finally, the words are output in a time sequence to obtain Chinese sentences. Experiments on Chinese image caption datasets, Flickr8k-CN and COCO-CN, reveal that the proposed method substantially improves the quality of sentences.
文章编号:     中图分类号:    文献标志码:
基金项目:黑龙江省自然科学基金(LH2020F003);国家自然科学基金(61502094);黑龙江省省属本科高校基本科研业务费项目(KYCXTD201903);中央支持地方高校改革发展资金人才培养支持计划(140119001);东北石油大学研究生教育创新工程(JYCX_11_2020);东北石油大学引导性创新基金(2020YDL-11)
引用文本:
田枫,孙小强,刘芳,李婷玉,张蕾,刘志刚.融合双注意力与多标签的图像中文描述生成方法.计算机系统应用,2021,30(7):32-40
TIAN Feng,SUN Xiao-Qiang,LIU Fang,LI Ting-Yu,ZHANG Lei,LIU Zhi-Gang.Chinese Image Caption with Dual Attention and Multi-Label Image.COMPUTER SYSTEMS APPLICATIONS,2021,30(7):32-40