基于類別結構的文本層次分類方法研究.pdf

1、文本分類是文本數(shù)據(jù)挖掘中的一項關鍵技術，其主要任務是在預先給定的類別標記集合下，根據(jù)文本內容利用有監(jiān)督學習的方法判定它的類別。文本分類在自然語言處理、信息組織與管理等領域都有著廣泛地應用。但是，近年來文本分類的類別規(guī)模越來越龐大，如YahoolDirectory、Open DirectProject(ODP)等都已經有成千上萬個類別，如果把這些類別并列組織，那么將一個文本進行正確分類的難度非常大，同時用戶從中找到感興趣的類別也需要花費大

2、量的時間。因此，現(xiàn)實生活中的分類體系往往將類別組織成層次結構。由于這種層次結構經常以樹的形式，因此被稱作“類樹”?；谶@種類樹結構，研究者們引入了層次型文本分類方法，它不但能夠符合用戶的行為習慣，方便用戶檢索、瀏覽文檔，而且可以通過限制搜索范圍減少分類過程中的計算量，提高分類質量。由于在層次型文本分類中，類別被組織成層次結構，在某一層中對類別有較好區(qū)分作用的特征詞可能在其他層中對類別的區(qū)分作用不大，而且在能減少阻滯的閾值降低策略中，閾值

3、降低的度一直很難把握；而在類樹中不僅各個類別之間存在著一定的聯(lián)系，其訓練樣本之間也都存在著一定的聯(lián)系，這些在層次分類的特征選擇、層次分類模型的訓練以及分類器閾值的確定方面都是不可忽視的因素。相對于爆發(fā)式方法，自頂向下式層次分類方法由于能夠更好的利用層次結構所提供的信息而備受關注，然而這種方法卻存在著“阻滯”問題，而且由于分類器自身性能的限制，“阻滯”問題又是不可避免的，那么，如何利用這些類樹和樣本的層次結構信息和“阻滯”問題中攜帶的一些

4、隱含信息來減少“阻滯”帶來的影響，提高分類質量仍然是一個值得研究的課題。本研究主要內容包括：
　　 ⑴提出了一種面向層次分類的文本特征選擇方法。在借鑒已有的特征選擇方法的基礎上，提出了一種面向層次分類的文本特征選擇方法。首先根據(jù)類別在類樹中的語義關系給出了類別層次相關和類別層次不相關的概念，并根據(jù)類樹的層次結構和各類別的訓練樣本的分布情況，提出了一種利用數(shù)學手段進行度量的方法；然后，考慮到各層次的訓練樣本對特征詞的類別區(qū)分能力的

5、不同貢獻和類別之間的層次相關性，根據(jù)提出的類別層次相關度的計算方法，可以為類樹中每個類別根據(jù)其所在層次賦予不同的重要度；再利用概率的方法獲得特征詞的類別相關性；最后，基于前面的結果，計算每個特征對類別的識別能力。實驗結果表明：該方法不管在選取的特征質量上還是在accuracy、F1和micro-Precision等分類測度上均優(yōu)于傳統(tǒng)方法。本部分的創(chuàng)新點：；根據(jù)類樹的層次結構特點和各層次的訓練樣本對特征詞的類別區(qū)分能力的不同貢獻，為在類

6、樹中構建的每個分類器選擇不同的特征詞進行特征表示，為層次分類的特征選擇開辟了一個新的思路。
　　 ⑵提出了一種基于類樹全局信息的文本層次分類方法。在自頂向下式層次分類過程中，由于“阻滯”現(xiàn)象的存在，使得在上層分類器中產生的錯誤分類將會在下層分類器中得到進一步增強，根據(jù)這一特點，定義了一種新的層次損失函數(shù)，可以對產生阻滯的分類器根據(jù)其所在的層次以及其影響范圍給予不同的懲罰。以該層次損失函數(shù)最小化為目標，將“阻滯”現(xiàn)象中的一些隱含信

7、息以及類樹中類別和樣本的層次結構信息引入boosting方法的框架中，通過調整各迭代過程中訓練樣本的質量來改進分類模型的質量，最后將在各個迭代過程中構建的分類器進行組合來建立一個更好的層次分類模型，以減少在高層結點上“阻滯”現(xiàn)象的產生，實現(xiàn)改善層次分類整體性能的目的。實驗結果表明：訓練出來的分類器在accuracy、precision、recall、F1和microPrecicion等分類測度上均優(yōu)于傳統(tǒng)的AdaBoost方法；同時也說

8、明“阻滯”現(xiàn)象中所隱含的一些信息對訓練層次分類器有一定的作用，可以在一定程度上提高層次分類的分類效果，減少在上層發(fā)生阻滯的機會，為以后對“阻滯”信息的使用提供了一定的借鑒作用。本部分的創(chuàng)新點：將層次型文本分類引入boosting框架中，并能結合層次型文本分類中類別和文檔的層次結構信息以及發(fā)生“阻滯”時的一些隱含信息，提出一種新的層次損失函數(shù)和調整各訓練樣本權重的方法，以改進層次分類模型的質量，提高層次分類的整體性能。
　　 ⑶提

9、出了一種基于回溯算法的文本層次分類方法?？紤]到不同層次的訓練樣本對特征詞區(qū)分作用的不同貢獻，我們將信息增益方法和文檔的層次信息相結合進行特征選擇，使得選取的特征詞能更符合層次分類的特點。在能減少阻滯的閾值降低策略中，閾值降低的度一直很難把握。為了給每個分類器確定一個合適的閾值，通過對訓練樣本在各類中分布的特點進行分析，結合類別之間的關系，將在某類別結點上構建的分類器的訓練樣本分成三個子集對KNN分類器進行訓練，使類樹中的每個分類器都能獲

10、得一個閾值的取值范圍，為閾值的選擇提供了一定的依據(jù)。然后，利用回溯方法，獲得文檔的候選類別集合，最后利用文檔與候選類別質心之間距離的遠近來確定文檔的最后類別。實驗結果表明：該方法可以減少上層阻滯的發(fā)生，其整體分類效果要優(yōu)于KNN方法。本部分的創(chuàng)新點：根據(jù)類別和樣本的層次分布特點，對信息增益特征選擇方法進行了適當?shù)母倪M，使選擇的特征詞能更適合層次分類的特點；在閾值降低策略的基礎上，通過分析層次型文本分類中各類別的訓練樣本的分布特點，結合K

11、NN分類方法，提出了一種新的確定各結點閾值取值范圍的方法。并結合回溯方法對文檔進行層次分類獲得文檔的候選類別集合，最終根據(jù)文檔和候選類別的質心之間的距離遠近決定文檔的最終類別。
　　 綜上所述，本文主要圍繞類別組成的層次結構進行展開，根據(jù)層次型文本分類的特點，在層次型文本分類的特征選擇、“阻滯”信息的使用以及減少“阻滯”的策略方面做了更進一步研究，并通過實驗進行了驗證。本文的研究豐富和完善了層次型文本分類的內容，為更好的使用類樹