基于MFE-BERT与FNNAttention的心理医学知识图谱构建
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(61802107); 河北省医学科学研究课题(20220037); 国家重点研发计划(2018YFF0301004)


Construction of Psychomedical Knowledge Graph Based on MFE-BERT and FNNAttention
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对心理医学领域文本段落冗长、数据稀疏、知识散乱且规范性差的问题, 提出一种基于多层级特征抽取能力预训练模型(MFE-BERT)与前向神经网络注意力机制(FNNAttention)的心理医学知识图谱构建方法. MFE-BERT在BERT模型基础上将其内部所有Encoder层特征进行合并输出, 以获取包含更多语义的特征向量, 同时对两复合模型采用FNNAttention机制强化词级关系, 解决长文本段落语义稀释问题. 在自建的心理医学数据集中, 设计MFE-BERT-BiLSTM-FNNAttention-CRF和MFE-BERT-CNN-FNNAttention复合神经网络模型分别进行心理医学实体识别和实体关系抽取, 实体识别F1值达到93.91%, 实体关系抽精确率达到了89.29%, 通过融合文本相似度与语义相似度方法进行实体对齐, 将所整理的数据存储在Neo4j图数据库中, 构建出一个含有3652个实体, 2396条关系的心理医学知识图谱. 实验结果表明, 在MFE-BERT模型与FNNAttention机制的基础上构建心理医学知识图谱切实可行, 提出的改进模型所搭建的心理医学知识图谱可以更好地应用于心理医学信息管理中, 为心理医学数据分析提供参考.

    Abstract:

    To solve the problems of lengthy paragraphs, sparse data, scattered knowledge, and poor specification of text data in psychological medicine, a method based on the pre-trained model of multi-level feature extraction capability (MFE-BERT) and forward neural network attention (FNNAttention) mechanism is proposed for the construction of psychomedical knowledge graphs. Based on the BERT model, MFE-BERT merges and outputs all the internal encoder layer features to obtain feature vectors with more semantics. At the same time, the FNNAttention mechanism is applied to the two composite models to strengthen the word-level relationship and solve the semantic dilution of long text paragraphs. In the self-created psychomedical datasets, the compound neural network models of MFE-BERT-BiLSTM-FNNAttention-CRF and MFE-BERT-CNN-FNNAttention are designed for psychomedical entity recognition and entity relationship extraction respectively. The entity recognition F1 value reaches 93.91% and the entity relation extraction precision rate reaches 89.29%. The entity alignment is carried out by merging text similarity and semantic similarity. The collated data are stored in a Neo4j graph database, and a psychomedical knowledge graph containing 3652 entities and 2396 relationships is constructed. The experimental results show that it is practical and feasible to construct a psychomedical knowledge graph based on the MFE-BERT model and the FNNAttention mechanism, and the psychomedical knowledge graph built by the proposed improved models can be better applied in psychomedical information management, providing a reference for psychomedical data analysis.

    参考文献
    相似文献
    引证文献
引用本文

刘子轩,申艳光,李焰,苏文婷.基于MFE-BERT与FNNAttention的心理医学知识图谱构建.计算机系统应用,2023,32(11):108-119

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-04-13
  • 最后修改日期:2023-05-17
  • 录用日期:
  • 在线发布日期: 2023-09-19
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号