有效特征值提取的快速中文文本分類.pdf

1、隨著信息產業(yè)特別是互聯(lián)網的高速發(fā)展，人們可以很容易地從互聯(lián)網、數字圖書館以及公司內部網絡獲得海量的數據。這些數據按照其組織形式可分為：結構化的數據(如數據庫記錄等)、半結構化的數據(xml文檔，有相對固定格式的各類格式化文檔)和無結構數據(如中文文本等)。 面對浩如煙海的數據，需要使用數據挖掘技術從數據中抽取感興趣的信息。對于結構化的數據，數據挖掘工作比較直觀，但是對于一些非結構化數據(包括半結構化數據中的非結構化數據)，尤其是

2、我們日常生活一個重要的信息來源——中文文本，需要做特殊處理。而中文文本分類正是中文數據挖掘的一個重要基礎。 在本論文中，先對當前文本分類的發(fā)展現(xiàn)狀和相關方法做簡要的回顧。 文本分詞是中文文本分類的基礎。本論文首先實現(xiàn)了基于語料庫的統(tǒng)計分詞系統(tǒng)。然后對文本進行預處理，去掉弱詞性詞匯，只保留2-4個字的名詞和動詞。 對文檔進行了預處理后，按照一般文檔分類過程依次給出了新的特征選擇和特征權重的計算方法，并據此設計了一種

3、基于貝葉斯原理的快速分類器。 特征選擇：提出了一種新的基于詞頻、互信息和類別信息的綜合特征選擇算法，能夠去掉大量的噪聲，提高分類效率。 特征權重：分析了傳統(tǒng)TF-IDF權重函數的不足，提出利用特征選擇函數值代替IDF進行權值調整，并在詞頻統(tǒng)計上進行了改進。 分類算法：根據貝葉斯原理，利用特征選擇函數值衡量特征詞與類別的相關性，結合權重計算方法判斷測試文本的類別，比傳統(tǒng)的貝葉斯算法更加簡單有效。 在論文的最