现代电子技术

2020, v.43;No.557(06) 65-69

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于Trie树的词语左右熵和互信息新词发现算法
Trie tree based new word discovery algorithm using left-right entropy and mutual information

郭理;张恒旭;王嘉岐;秦怀斌;

摘要(Abstract):

由于大量新词的出现,使得中文文本分析产生了较大的困难,因此新词发现成为目前中文自然语言处理中的热点和难点问题。为此,文中提出了一种基于Trie树的词语左右熵和互信息新词发现算法。先根据成词规则,筛选掉文本中的停用词和非中文字符,将每个字与其右邻的字组成二元组;然后利用左右信息熵和互信息进行成词概率的计算,根据计算到的成词概率和词频筛选出新词;并且设计了三个实验,验证了算法的有效性和可行性。实验结果表明,该新词发现算法成词准确率较高,比其他新词发现算法时间效率有较大的提高,对于中文分词结果的优化起到重要的作用。

关键词(KeyWords): 新词发现算法;左右熵;互信息;Trie树;算法设计;对比验证

Abstract:

Keywords:

基金项目(Foundation): 国家社会科学基金项目(14XXW004)

作者(Author): 郭理;张恒旭;王嘉岐;秦怀斌;

Email:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享