注意力机制的BiLSTM模型在招聘信息分类中的应用
作者:
基金项目:

山西省应用基础研究项目(201801D221179);山西省中科院科技合作项目(20141101001);“十二五”山西省科技重大专项(20121101001);山西省社会发展科技攻关项目(20140313020-1)


BiLSTM Model of Attention Mechanism Application in Recruitment Information Classification
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [12]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    目前IT招聘信息分类中传统算法存在长距离依赖,且无法突出IT岗位关键词对文本分类特征影响等问题.本文通过训练双向长短期记忆网络BiLSTM与注意力机制相结合的多层文本分类模型,将其应用到招聘信息分类中.该模型包括One-hot词向量输入层、BiLSTM层、注意力机制层和输出层.其中One-hot层构建招聘词典,节省了大量训练词向量时间,BiLSTM层可获取更多上下文不同距离的语义信息,注意力机制层对经过BiLSTM层编码数据进行加权转变可提升序列化学习任务.实验表明:基于该模型的IT招聘信息分类准确率达到93.36%,与其他模型对比,提高约2%.该模型更有针对性的分析不同岗位对就业者能力的要求,实现了不同岗位招聘信息的分类,对高校毕业生就业指导有重要意义.

    Abstract:

    At present, traditional algorithms in IT recruitment information classification have long-distance dependence, and cannot highlight the impact of IT job keywords on text classification features. In this study, a multi-layer text classification model combining two-way long-term and short-term memory network BiLSTM and attention mechanism is applied to the classification of recruitment information. The model includes the one-hot word vector input layer, BiLSTM layer, attention mechanism layer, and output layer. One-hot layer builds a recruitment dictionary, which saves a lot of training word vector time; the BiLSTM layer can obtain more semantic information of different distances in the context; and the attention mechanism layer transforms the weights of the data encoded by BiLSTM enhancing the serialization learning task. The results show that the classification accuracy of IT recruitment information based on this model reaches 93.36%, which is about 2% higher than other models. The model analyzes the requirements of different positions on the ability of the employed in a more targeted manner, and realizes the classification of recruitment information in different positions, which is of great significance to the employment guidance of college graduates.

    参考文献
    [1] 郑阶财. 非结构化数据的相关问题研究[博士学位论文]. 济南:山东大学, 2017.
    [2] 杜昌顺, 黄磊. 分段卷积神经网络在文本情感分析中的应用. 计算机工程与科学, 2017, 39(1):173-179.[doi:10.3969/j.issn.1007-130X.2017.01.024
    [3] Socher R, Huval B, Manning CD, et al. Semantic compositionality through recursive matrix-vector spaces. Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island. 2012. 1201-1211.
    [4] 王吉俐, 彭敦陆, 陈章, 等. AM-CNN:一种基于注意力的卷积神经网络文本分类模型. 小型微型计算机系统, 2019, 40(4):710-714.[doi:10.3969/j.issn.1000-1220.2019.04.004
    [5] Mikolov T, Karafiát M, Burget L, et al. Recurrent neural network based language model. Proceedings of the 11th Annual Conference of the International Speech Communication Association. Makuhari, Japan. 2010. 10451048.
    [6] 顾静航. 面向生物医学领域的实体关系抽取研究[博士学位论文]. 苏州:苏州大学, 2017.
    [7] Liu PF, Qiu XP, Huang XJ. Recurrent neural network for text classification with multi-task learning. arXiv:1605.05101, 2016.
    [8] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8):1735-1780.[doi:10.1162/neco.1997.9.8.1735
    [9] 赵淑芳, 董小雨. 基于改进的LSTM深度神经网络语音识别研究. 郑州大学学报(工学版), 2018, 39(5):63-67
    [10] 王竣平, 白宇, 蔡东风. 采用BI-LSTM-CRF模型的数值信息抽取. 计算机应用与软件, 2019, 36(5):138-144.[doi:10.3969/j.issn.1000-386x.2019.05.025
    [11] 谢金宝, 侯永进, 康守强, 等. 基于语义理解注意力神经网络的多元特征融合中文文本分类. 电子与信息学报, 2018, 40(5):1258-1265.[doi:10.11999/JEIT170815
    [12] 梁杰, 陈嘉豪, 张雪芹, 等. 基于独热编码和卷积神经网络的异常检测. 清华大学学报(自然科学版), 2019, 59(7):523-529
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

吕飞亚,张英俊,潘理虎.注意力机制的BiLSTM模型在招聘信息分类中的应用.计算机系统应用,2020,29(4):242-247

复制
分享
文章指标
  • 点击次数:2194
  • 下载次数: 2845
  • HTML阅读次数: 2005
  • 引用次数: 0
历史
  • 收稿日期:2019-07-26
  • 最后修改日期:2019-09-03
  • 在线发布日期: 2020-04-09
  • 出版日期: 2020-04-15
文章二维码
您是第12435988位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号