摘要:在文本分类任务中, 由于短文本具有特征稀疏, 用词不规范等特点, 传统的自然语言处理方法在短文本分类中具有局限性. 针对短文本的特点, 本文提出一种基于BERT (bidirectional encoder representations from Transformers)与GSDMM (collapsed Gibbs sampling algorithm for the Dirichlet multinomial mixture model)融合和聚类指导的短文本分类算法, 用以提高短文本分类有效性与准确性. 本算法一方面通过BERT与GSDMM融合模型将短文本转化为集成语义向量, 集成的向量体现了全局语义特征与主题特征, 解决了短文本特征稀疏与主题信息匮乏的问题. 另一方面在分类器前端训练中通过引入聚类指导算法实现对标注数据的扩展, 同时也提升了结果的可解释性. 最后利用扩展后的标注数据集训练分类器完成对短文本的自动化分类. 将电商平台的差评数据作为验证数据集, 在多组对比实验中验证了本算法在短文本分类方面应用的有效性与优势.

摘要:在针对短文本分类中文本特征稀疏难以提取、用词不规范导致OOV (out of vocabulary)等问题, 提出了基于FastText模型多通道嵌入词向量, 和GRU (gate recurrent unit)与多层感知机(multi-layer perceptron, MLP)混合网络结构(GRU-MLP hybrid network architecture, GM)的短文本分类模型GM-FastText. 该模型使用FastText模型以N-gram方式分别产生不同的嵌入词向量送入GRU层和MLP层获取短文本特征, 通过GRU对文本的特征提取和MLP层混合提取不同通道的文本特征, 最后映射到各个分类中. 多组对比实验结果表明: 与TextCNN、TextRNN方法对比, GM-FastText模型F1指标提升0.021和0.023, 准确率提升1.96和2.08个百分点; 与FastText, FastText-CNN, FastText-RNN等对比, GM-FastText模型F1指标提升0.006、0.014和0.016, 准确率提升0.42、1.06和1.41个百分点. 通过对比发现, 在FastText多通道词向量和GM混合结构网络的作用下, 多通道词向量在短文本分类中有更好的词向量表达且GM网络结构对多参数特征提取有更好的性能.

摘要:在互联网医疗领域, 智能AI分科室是一个很关键的环节, 就是根据患者病情描述、疾病特征、药品等信息将患者分配到匹配的科室, 可以利用深层双向Transformer结构的BERT预训练语言模型增强字的语义, 但是患者病情文本描述具有信息稀疏的特点, 不利于BERT的充分学习其中特征. 本文提出了一种DNNBERT模型. 是一种融合知识的联合训练模型, DNNBERT结合了神经网络(DNN)和Transformer模型的优势, 能从文本中学习到更多的语义. 实验证明DNNBERT的计算时间相比BERT-large速度提升1.7倍, 并且准确率比ALBERT的F1值提高了0.12, 比TextCNN提高了0.17, 本文的工作将为特征稀疏学习提供新思路, 也将为基于深度Transformer的模型应用于生产提供新的思路.

摘要:传统主题模型方法很大程度上依赖于词共现模式生成文档主题, 短文本由于缺乏足够的上下文信息导致的数据稀疏性成为传统主题模型在短文本上取得良好效果的瓶颈. 基于此, 本文提出一种基于语义增强的短文本主题模型, 算法将DMM (Dirichlet Multinomial Mixture)与词嵌入模型相结合, 通过训练全局词嵌入与局部词嵌入获得词的向量表示, 融合全局词嵌入向量与局部词嵌入向量计算词向量间的语义相关度, 并通过主题相关词权重进行词的语义增强计算. 实验表明, 本文提出的模型在主题一致性表示上更准确, 且提升了模型在短文本上的分类正确率.

摘要:短文本匹配是自然语言处理领域中的一个核心问题, 可应用于信息检索、问答系统、复述问题等任务. 过去的工作大多在提取文本特征时只考虑文本内部信息, 忽略了两个文本之间的交互信息, 或者仅进行单层次交互. 针对以上问题, 提出一种基于Transformer改进的短文本匹配模型ISTM. ISTM模型以DSSM为基本架构, 利用BERT模型对文本进行向量化表示, 解决Word2Vec一词多义的问题, 使用Transformer编码器对文本进行特征提取, 获取文本内部信息, 并考虑两个文本之间的多层次交互信息, 最后由拼接向量推理计算出两个文本之间的语义匹配度. 实验表明, 相比经典深度短文本匹配模型, 本文提出的ISTM模型在LCQMC中文数据集上表现出了更好的效果.

摘要:文本分类指的是在制定文本的类别体系下，让计算机学会通过某种分类算法将待分类的内容完成分类的过程.与文本分类有关的算法已经被应用到了网页分类、数字图书馆、新闻推荐等领域.本文针对短文本分类任务的特点，提出了基于多神经网络混合的短文本分类模型（Hybrid Short Text Classical Model Base on Multi-neural Networks）.通过对短文本内容的关键词提取进行重构文本特征，并作为多神经网络模型的输入进行类别向量的融合，从而兼顾了FastText模型和TextCNN模型的特点.实验结果表明，相对于目前流行的文本分类算法而言，多神经网络混合的短本文分类模型在精确率、召回率和F1分数等多项指标上展现出了更加优越的算法性能.

摘要:情感细粒度分析是情感分析的分支，随着社交网络规模的扩大，简单的划分积极或消极的粗粒度情感分析不能满足实际应用的需要，基于评价对象及其属性的细粒度情感分析得到了重视.近几年深度学习在自然语言处理领域的成功应用给情感细粒度分析提供了新的思路.以NLPCC2013任务二微博数据集为研究对象，探究微博短文本在不同神经网络结构中的情感细粒度分类结果并加入词向量进行优化，最后分析与总结了神经网络微博短文本细粒度情感分析的影响因素及发展方向.

摘要:在以往的Attention模型中, 只采用了Bidirectional-RNN, BRNN对上下文信息是有效的, 但是无法提取文本的高维特征, 所以引入了CNN. 因为基于矩阵变换的Attention模型无法对CNN抽取的特征进行表征, 所以采用全连接神经网络对Attention模型进行改进, 提出了NN-Attention. 为了加速模型的训练, 采用的循环神经网络为GRU. 实验采用CSTSD数据集, 并用TensorFlow完成模型的构建. 实验结果表明, 该模型在CSTSD数据集中可以较好地实现文本摘要的自动生成.

摘要:短文本分类是自然语言处理的一个研究热点.为提高文本分类精度和解决文本表示稀疏问题，提出了一种全新的文本表示（N-of-DOC）方法.采用Word2Vec分布式表示一个短语，将其转换成的向量作为卷积神经网络模型的输入，经过卷积层和池化层提取高层特征，输出层接分类器得出分类结果.实验结果表明，与传统机器学习（K近邻，支持向量机，逻辑斯特回归，朴素贝叶斯）相比，提出的方法不仅能解决中文文本向量的维数灾难和稀疏问题，而且在分类精度上也比传统方法提高了4.23%.

摘要:使用传统的主题模型方法对医疗服务平台中的评论等短文本语料进行主题模型的情感分析时，会出现上下文依赖性差的问题。提出基于词嵌入的WLDA算法，使用Skip-Gram模型训练出的词w*替换传统的LDA模型中吉布斯采样算法里的词w`，同时引入参数λ，控制吉布斯采样时词的重采样的概率.实验结果证明，与同类的主题模型相比，该主题模型的主题一致性高.