基于信息熵的中文文本分類(lèi)算法研究.pdf

1、隨著Internet的快速發(fā)展，Web已成為全球性的、巨大的、分布和共享的信息空間，它為人們搜索信息提供了一種新的手段。但隨著Internet上信息量的爆炸式增加，信息搜索時(shí)，與特定用戶(hù)要求不大相關(guān)的信息大量涌現(xiàn)，甚至掩蓋了對(duì)用戶(hù)真正有用的信息。在這繁雜的信息中，如何快速地找到用戶(hù)需要的信息以及有效地利用這些信息，文本分類(lèi)起著非常重要的作用，它可以有效地組織和管理這些信息，從而提高信息搜索的效率。 本文首先介紹了文本自動(dòng)分類(lèi)在國(guó)

2、內(nèi)外的研究現(xiàn)狀；其次對(duì)文本自動(dòng)分類(lèi)所涉及的關(guān)鍵技術(shù)，包括文本表示模型、中文分詞方法、特征選擇以及關(guān)鍵的分類(lèi)算法，分別進(jìn)行了研究和探索；重點(diǎn)針對(duì)中文分詞技術(shù)，再次提出了關(guān)鍵詞集抽取算法，實(shí)驗(yàn)表明，本文的抽取系統(tǒng)基本上能將命名實(shí)體切出來(lái)；接下來(lái)介紹了基于信息熵的文本分類(lèi)系統(tǒng)的總體框架，應(yīng)用信息熵理論，提出了一種文本分類(lèi)的新方法。該方法利用熵來(lái)度量新文本對(duì)于已分類(lèi)文本集合的貢獻(xiàn)大小，并以此熵值來(lái)判斷文本歸屬的類(lèi)，最后設(shè)計(jì)并驗(yàn)證了基于信息熵的文