中文文本自動(dòng)分類(lèi)算法研究.pdf

1、隨著Internet的迅猛發(fā)展和日益普及，電子文本信息迅速膨脹，如何有效地組織和管理這些信息，并快速、準(zhǔn)確、全面地從中找到用戶(hù)所需要的信息是當(dāng)前信息科學(xué)和技術(shù)領(lǐng)域面臨的一大挑戰(zhàn)。文本分類(lèi)作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂現(xiàn)象的問(wèn)題，方便用戶(hù)準(zhǔn)確地定位所需的信息和分流信息。而且作為信息過(guò)濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫(kù)、數(shù)字化圖書(shū)館等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類(lèi)技術(shù)有著廣泛的應(yīng)用前景。 本文對(duì)文本分類(lèi)

2、及其相關(guān)技術(shù)進(jìn)行了研究。從提高分類(lèi)方法的快速性、準(zhǔn)確性和穩(wěn)定性出發(fā)，提出多種有效的解決或改進(jìn)的方法和技術(shù)。較系統(tǒng)地綜述了中文文本分類(lèi)中自動(dòng)分詞技術(shù)、特征提取技術(shù)、文本分類(lèi)模型和性能評(píng)估技術(shù)的研究現(xiàn)狀和研究方法。較全面地討論了貝葉斯方法、k近鄰方法和AdaBoost等三種中文文本分類(lèi)方法。作者采用三個(gè)模型，實(shí)現(xiàn)了樸素貝葉斯分類(lèi)器、k近鄰分類(lèi)器和Adaboost分類(lèi)器三個(gè)中文文本分類(lèi)器，集成了一個(gè)實(shí)用性較強(qiáng)的實(shí)驗(yàn)系統(tǒng)。 文中深入地分

3、析了k近鄰方法的不足，提出了改進(jìn)的k近鄰方法，有基于隱含語(yǔ)義，特征聚合，強(qiáng)化文本中語(yǔ)義鏈屬性因子與檢索相結(jié)合的迭代近鄰法四種方法進(jìn)行改進(jìn)，提高了分類(lèi)器的性能。 重點(diǎn)討論了AdaBoost的相關(guān)問(wèn)題。概述了boost理論的主要內(nèi)容和應(yīng)用情況。 Naive Bayesian分類(lèi)器是一種有效的文本分類(lèi)方法，但由于具有較強(qiáng)的穩(wěn)定性，很難通過(guò)Boosting機(jī)制提高其性能。因此用Naive分類(lèi)器作為Boosting的基分類(lèi)器需要解

4、決的最大問(wèn)題，就是如何破壞Naive Bayesian分類(lèi)器的穩(wěn)定性。提出了3種破壞Naive Bayesian學(xué)習(xí)器穩(wěn)定性的方法。第一種方法改變訓(xùn)練集樣本，第二種方法采用隨機(jī)屬性選擇社團(tuán)，第三種方法是在Boosting的每次迭代中利用不同的文本特征提取方法建立不同的特征詞集。實(shí)驗(yàn)表明，這幾種方法各有其優(yōu)缺點(diǎn)，但都比原有方法準(zhǔn)確、高效。 實(shí)驗(yàn)表明，三種分類(lèi)器都適合于中文文本分類(lèi)的需要，其中Adaboost分類(lèi)器的分類(lèi)性能最好。而