基于特征提取和主題模型的文本分類研究.pdf

1、隨著全球信息化的迅速發(fā)展和互聯(lián)網(wǎng)的普及，這種新的信息傳播途徑改變了人們的生活方式，但是互聯(lián)網(wǎng)中的數(shù)據(jù)作為信息載體也呈現(xiàn)了爆炸式增長。對這些數(shù)據(jù)進行有效的組織和挖掘，以期望更加迅速、精確和全面找到用戶所需要的信息是當今信息科學領域面臨的一大挑戰(zhàn)。為了應對這種挑戰(zhàn)可以對這些數(shù)據(jù)進行挖掘，文本挖掘主要有文本分類、文本聚類、文檔摘要等方法，由于文本分類是人們獲取知識和認識事物的一種非常重要方法，并且其在自然語言處理、自然語言理解、機器學習和主題

2、識別等領域都起著關鍵作用，所以基于文本內容的自動分類研究已成為備受關注的研究熱點之一。
　　 文本分類是這樣一個過程，為需要分類的文檔集歸到確定一個類別并且這些類別都是預先定義的。文本分類一般包括了文本的預處理、特征提取、分類器的選擇、訓練集訓練、測試集測試、分類結果的評價等步驟。在這些步驟中，由于特征提取的好壞對分類結果影響比較大，對其研究就成為文本分類中當前的一個熱點。特征提取是通過對原始特征進行降維，以達到去除特征集中對文

3、本分類無意義的特征，進而提高分類效果的最終目的。傳統(tǒng)的文本特征提取方法都是基于數(shù)理統(tǒng)計的，忽略了文本中詞項之間的語義關系。本文試圖通過引入語義信息與傳統(tǒng)的特征提取方法結合，達到數(shù)理統(tǒng)計信息和語義信息全部融入分類算法的目的，以提高文本分類的效果。
　　 本文對文本分類相關技術、主題模型進行了介紹，并進行了以下研究工作:
　　 (1)分析了傳統(tǒng)的CHI和MI特征提取方法的不足之處，針對問題提出一種基于兩種方法的特征提取方法F