摘要:随着手机短信成为人们日常生活交往的重要手段，垃圾短信的识别具有重要的现实意义.针对此提出一种结合TFIDF的self-attention-based Bi-LSTM的神经网络模型.该模型首先将短信文本以词向量的方式输入到Bi-LSTM层，经过特征提取并结合TFIDF和self-attention层的信息聚焦获得最后的特征向量，最后将特征向量通过Softmax分类器进行分类得到短信文本分类结果.实验结果表明，结合TFIDF的self-attention-based Bi-LSTM模型相比于传统分类模型的短信文本识别准确率提高了2.1%–4.6%，运行时间减少了0.6 s–10.2 s.

摘要:关系分类是自然语言处理领域的一项重要任务，能够为知识图谱的构建、问答系统和信息检索等提供技术支持.与传统关系分类方法相比较，基于神经网络和注意力机制的关系分类模型在各种关系分类任务中都获得了更出色的表现.以往的模型大多采用单层注意力机制，特征表达相对单一.因此本文在已有研究基础上，引入多头注意力机制（Multi-head attention），旨在让模型从不同表示空间上获取关于句子更多层面的信息，提高模型的特征表达能力.同时在现有的词向量和位置向量作为网络输入的基础上，进一步引入依存句法特征和相对核心谓词依赖特征，其中依存句法特征包括当前词的依存关系值和所依赖的父节点位置，从而使模型进一步获取更多的文本句法信息.在SemEval-2010任务8数据集上的实验结果证明，该方法相较之前的深度学习模型，性能有进一步提高.