多層文本自動分類技術(shù)的研究與應用.pdf

1、隨著各個行業(yè)數(shù)字信息呈現(xiàn)指數(shù)式的增長，為方便信息組織和管理，需對海量電子信息數(shù)據(jù)按其內(nèi)容進行分類，因此對文本自動分類技術(shù)提出了更高的要求。目前比較成熟的研究和應用主要集中于單層文本分類，即事先所定義的類別均處在同一層，類別之間相互獨立、不存在結(jié)構(gòu)和關(guān)系。但在實際應用中，多層文本分類更符合文本之間的關(guān)系，這樣文本的定位準確度就更高;另外，多層文本分類把大的分類問題轉(zhuǎn)化為多個子分類問題，能夠有效地降低時間和空間的復雜度，使得在文本分類過程中

2、采用復雜的分類算法仍可能獲得較好的分類效果。
　　 公安系統(tǒng)的案件數(shù)量龐大且種類繁多，案件類別之間有著明顯的層次關(guān)系，且同一案件按照不同的角度可以歸到多個類別。如，交通肇事類可以歸為普通的交通事故案，也可歸為故意傷人案件，這是因為案件的分類既要考慮到動機又要兼顧結(jié)果的因素。因此，本文重點研究多層文本自動分類技術(shù)，并設計了一個基于向量空間模型的多層文本分類器實現(xiàn)海量公安案件文本數(shù)據(jù)的自動分類，實驗證明該分類器具有較好的分類性能。本

3、文具體研究工作如下:
　　 (1)分析了案件信息文本的特點并綜合應用了分詞技術(shù)、特征提取技術(shù)、特征降維技術(shù)以及文本表示方法將案件文本轉(zhuǎn)換成能夠直接應用于分類的數(shù)據(jù)形式。
　　 (2)為了撲捉每個類別的特征應用于分類任務，提出了基于多重特征選擇的多層文本分類特征提取方法。
　　 (3)基于中心向量文本分類算法思想，將文本和類別(某一類文本)用向量空間模型(VSM，Vector Space Model)進行表示并通過

4、計算文本與類別相關(guān)度，實現(xiàn)對案件信息文本的多層分類。文中給出了文本與類別相關(guān)度計算方法并對類別向量模型的權(quán)重公式作了深入分析，提出了基于文檔頻率(DF，Document Frequency)和互信息(MI，Mutual Information)相結(jié)合的DF-MI權(quán)重公式，并與經(jīng)典的權(quán)重計算公式TF-IDF進行了比較，實驗證明DF-MI權(quán)重公式比經(jīng)典的TF-IDF權(quán)重公式在案件文本分類中更具有優(yōu)越性，且獲得很好的分類性能。
　　

5、(4)分析了平面文本分類器的性能評價指標直接應用于層次文本分類器性能評價的不足，文中引入了錯誤分類分布矩陣(ECDM，Error Classification Distribution Matrix)和錯誤分類集中度(ECCR，Error Classification Concentration Ratio)的性能評價方法。該方法與平面分類評價指標進行綜合不僅能夠更加準確的評價多層文本分類的性能，且可以用于指導分類器的訓練，從而進一步提