基于層次分類和集成學(xué)習(xí)的文本分類技術(shù)研究.pdf

1、隨著Internet的迅速發(fā)展和日益普及，電子文本信息迅速膨脹，任何有效地組織和管理這些信息，并快速、準(zhǔn)確、全面地從中找到用戶所需要的信息是當(dāng)前信息科學(xué)和技術(shù)領(lǐng)域面臨的一大問題。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂現(xiàn)象的問題，方便用戶準(zhǔn)確地定位所需的信息。而且作為信息過(guò)濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫(kù)、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類技術(shù)有著廣泛的應(yīng)用前景。 本文對(duì)文本分類及其相關(guān)技

2、術(shù)進(jìn)行了研究。從提高分類方法的快速性、準(zhǔn)確性和穩(wěn)定性出發(fā)，提出了兩種有效的解決或改進(jìn)的方法和技術(shù)。本文研究?jī)?nèi)容和創(chuàng)新工作主要包括以下兩點(diǎn)。 1) 層次文本分類技術(shù)研究層次分類是把分類系統(tǒng)構(gòu)造為層次結(jié)構(gòu)，既把各類按照一定的層次關(guān)系組織成偏序結(jié)構(gòu)。因此，層次分類從結(jié)構(gòu)和性能上，對(duì)分類方法來(lái)說(shuō)是一個(gè)大的改進(jìn)，是一種有效的分類途徑。局部層次分類是層次分類中最為普遍的方法，該方法的優(yōu)點(diǎn)就是速度較快和簡(jiǎn)單，但是它有一個(gè)致命的弱點(diǎn)：在頂層被錯(cuò)

3、分的樣本將不可恢復(fù)。針對(duì)上述特點(diǎn)，本文提出了新的層次文本分類方法：考慮走多條分類途徑，即在某個(gè)內(nèi)部節(jié)點(diǎn)選擇多個(gè)子類別作為下一步分類的根節(jié)點(diǎn)；并考慮了每個(gè)葉子節(jié)點(diǎn)在層次結(jié)構(gòu)中的高度，平衡高度帶來(lái)的結(jié)果偏差。 2) 集成學(xué)習(xí)文本分類研究集成學(xué)習(xí)(ensemble learning)技術(shù)利用基于學(xué)習(xí)器多個(gè)版本來(lái)解決同一個(gè)問題，可以顯著地提高學(xué)習(xí)系統(tǒng)的泛化性能。集成學(xué)習(xí)的理論基礎(chǔ)告訴我們影響集成學(xué)習(xí)的泛化能力的兩個(gè)參數(shù)：個(gè)體的分類強(qiáng)度和