本文已被:浏览 1563次 下载 2905次
Received:March 06, 2009
Received:March 06, 2009
中文摘要: 分词标注是中文信息处理的基础。传统方法的处理步骤大都是首先对文本进行预处理,得到文本的粗分模型,在此基础上对词语进行词性标注。粗分模型集合的大小取决于采用的分词方法,粗分模型的准确性直接影响着后续处理结果的准确性。提出一种基于统计的分词标注一体化方法即概率全切分标注模型,该方法的特点是将分词、标注两部分工作融为一体同时进行,在利用全切分获得所有可能分词结果的过程中,计算出每种词串的联合概率,同时利用马尔可夫模型计算出每种词串所有可能标记序列的概率,由此得到最可能的处理结果。该方法提高了结果的召回率和准确率
Abstract:
keywords:
文章编号: 中图分类号: 文献标志码:
基金项目:国家社科基金(05BYY022)
Author Name | Affiliation |
褚颖娜 | 北京师范大学 信息科学与技术学院 北京 100875 |
廖敏 | |
宋继华 |
Author Name | Affiliation |
褚颖娜 | 北京师范大学 信息科学与技术学院 北京 100875 |
廖敏 | |
宋继华 |
引用文本:
褚颖娜,廖敏,宋继华.一种基于统计的分词标注一体化方法.计算机系统应用,2009,18(12):55-58
.Integrated Chinese Words Segmentation and Labeling Based on Statistic Method.COMPUTER SYSTEMS APPLICATIONS,2009,18(12):55-58
褚颖娜,廖敏,宋继华.一种基于统计的分词标注一体化方法.计算机系统应用,2009,18(12):55-58
.Integrated Chinese Words Segmentation and Labeling Based on Statistic Method.COMPUTER SYSTEMS APPLICATIONS,2009,18(12):55-58