一種基于eEPs的中文文本自動分類算法.pdf

1、為了能夠有效地組織和分析海量的Web信息資源，幫助用戶迅速地獲取所需要的知識和信息，人們希望能夠按照內容實現(xiàn)對網頁的自動分類。Web的迅猛發(fā)展為文本自動分類技術提供了一個前所未有的實驗環(huán)境和應用平臺，同時也帶來了新的挑戰(zhàn)。而作為Web網頁自動分類技術基礎的文本自動分類技術也迅速地發(fā)展起來。 基于文檔頻率的特征提取方法計算復雜度低，而且提取出的特征的分類效果也和卡方檢驗以及信息增益等方法相當，比較適合于大規(guī)模的文本分類任務。但是通

2、過分析我們發(fā)現(xiàn)，由于僅僅使用文檔頻率來衡量特征的區(qū)分能力，文檔頻率方法存在兩個問題。 顯露模式是那些從一個數(shù)據集到另一個數(shù)據集支持度發(fā)生顯著變化的項集，它們對分類是有用的，這是因為這些項集能夠捕獲數(shù)據庫中兩個數(shù)據集之間的多屬性差異，具有很好的分類性能。而eEPs(EssentialEmergingPatterns)是一種最具表達能力的、特殊的EPs，稱為基本顯露模式。它不僅具有EPs的優(yōu)點，可以用來構造準確的分類器，而且數(shù)量比E

3、Ps少很多，可以快速方便地挖掘和使用。 基于EPs的分類方法并不把樣本看作n維空間的點，而是把它們看作項的集合。通過發(fā)現(xiàn)那些從一個數(shù)據集到另一個數(shù)據集支持度發(fā)生顯著變化的模式(項集)，建立分類器，基于EP的分類方法足以與C4．5、樸素Bayes等分類法相媲美?；贓Ps的分類方法已經成功地應用于DNA分析等領域，但用于文本自動分類還未見到報道。 本文在分析了文檔頻率特征提取方法存在的問題的基礎上，給出了特征的區(qū)分能力的概

4、念，提出了一種基于區(qū)分能力的特征提取方法，并將基于eEPs的分類方法應用到中文文本分類領域，提出并實現(xiàn)了一個基于eEPs的中文文本分類算法TCEP。 本文研究工作的主要創(chuàng)新點有：(1)提出了一種基于區(qū)分能力的特征提取方法。該方法綜合考慮了文檔頻率和類信息，所提取出的特征項具有很好的區(qū)分能力。 (2)使用eEPs來構建分類器。基于eEPs的分類方法能有效地緩解維災難問題，比較適合于大規(guī)模的文本分類任務。提出并實現(xiàn)了一個基于