基于注意力机制的端到端语音合成模型
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

陕西省重点研发计划 (2024GX-YBXM-548)


End-to-end Speech Synthesis Model Based on Attention Mechanism
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着语音合成应用场景不断扩展, 对多人多情感语音合成的需求越来越大. 在实际应用中经常需要合成具有特定风格的语音信号. 为此提出一种基于注意力机制的端到端语音合成模型. 首先设计了说话人编码模块, 通过注意力机制提取语音信号中说话者的特征表示, 结合数据集中性别、年龄等特征标签构建说话人特征库; 其次设计风格编码模块, 通过注意力机制为不同梅尔特征通道赋予不同关注程度和权重; 然后使用K近邻构建虚拟说话人特征, 实现在不提供说话人及真实数据的情境下, 灵活组合不同说话人特征和风格特征, 搭配合成出具有特定特征风格的声音. 实验表明, 该模型对比SV2TTS模型有较快的训练速度, 能够合成具有特定风格的高质量的语音.

    Abstract:

    With the continuous expansion of speech synthesis application scenarios, the demand for multi-speaker and multi-emotion speech synthesis is increasing. In practical applications, there is often a need to synthesize speech signals with specific styles. To address this, an end-to-end speech synthesis model based on the attention mechanism is proposed. First, a speaker encoding module is designed to extract speaker feature representations from speech signals using the attention mechanism, combined with dataset features such as gender and age labels to construct a speaker feature database. Second, a style encoding module is designed to assign different levels of attention and weights to different Mel feature channels using the attention mechanism. Then, virtual speaker features are constructed using K-nearest neighbors, allowing for the flexible combination of different speaker and style features to synthesize voice with specific characteristic styles, even without requiring real speaker data. Experimental results show that this model has a faster training speed compared to the SV2TTS model and can synthesize high-quality speech with specific styles.

    参考文献
    相似文献
    引证文献
引用本文

耿盈,朱欣娟.基于注意力机制的端到端语音合成模型.计算机系统应用,,():1-8

复制
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-10-23
  • 最后修改日期:2024-11-29
  • 录用日期:
  • 在线发布日期: 2025-05-29
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号