基于類別的特征選擇算法的文本分類系統.pdf

1、文本自動分類技術是自然語言處理的一個重要的應用領域,是替代傳統的繁雜人工分類方法的有效手段和必然趨勢.特別是隨著互聯網技術的發(fā)展,網絡成為人們進行信息交互和處理的有效的平臺,各種數字化的信息每天以極高的速度增長.面對如此巨大的信息,人工分類選擇已經無能為力,計算機自動分類己成為網絡時代的必然選擇.目前,對于文本分類技術的研究,大多數研究者的精力主要放在各種不同分類方法的探索與改進上.然而,文本分類中的特征選擇(或稱特征提取、索引詞選擇)

2、一直是文本分類的關鍵技術和瓶頸技術.所以,對特征選擇算法的研究是十分必要的.該論文對文本分類中所涉及的各項技術進行了較全面的闡述,特別對當前文本分類中各種常用特征選擇算法的性能以及優(yōu)缺點進行了分析.通過以上分析,作者發(fā)現目前的索引詞選擇算法都是基于詞頻的,沒有利用訓練樣本中的類別信息.為此,作者提出了一種新的基于類別的特征選擇方法,并以此為基礎設計了一個英文文本自動分類系統.接著,論文根據不同特征選擇閾值下的分類性能,確定了特征選擇的初

3、始閾值,并在該閾值下,對系統完成了不同實驗條件下的、面向大規(guī)模真實文本的分類性能測試,包括:在開放測試和封閉測試下系統的性能;在不同原始特征空間維數下的分類性能;相同條件下與SVM和Naive Bayes分類器的分類性能比較.之后,論文對測試結果進行了理論分析,確定了基于類別的特征選擇算法能夠在一定程度上提高分類系統的性能.進一步地,論文通過與Naive Bayes分類器在相同條件下的訓練分類時間對比,分析了該文設計的基于類別的特征選擇