文本語(yǔ)義表示及多層分類關(guān)鍵技術(shù)研究.pdf

1、信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)技術(shù)的快速變革使得人類社會(huì)進(jìn)入了信息極大豐富和快速更新的時(shí)代，特別是近年來(lái)各種社交網(wǎng)絡(luò)的出現(xiàn)，每天有海量文本信息不斷在網(wǎng)絡(luò)上產(chǎn)生和傳播。人們所面對(duì)的問(wèn)題不再是如何獲取信息，而是如何從大量信息中迅速有效地提取出所需信息。文本分類作為一項(xiàng)具有較大使用價(jià)值的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂的問(wèn)題，方便用戶準(zhǔn)確地定位所需的信息和分流信息。隨著分類技術(shù)在信息檢索、輿情分析、信息過(guò)濾、新聞分類和數(shù)字圖書館等多個(gè)領(lǐng)域的

2、廣泛應(yīng)用，文本分類關(guān)鍵技術(shù)的研究已經(jīng)成為信息處理領(lǐng)域的一個(gè)前沿課題，有著廣泛的應(yīng)用前景和重要的研究意義。本文對(duì)文本語(yǔ)義表示及多層分類關(guān)鍵技術(shù)進(jìn)行了系統(tǒng)的研究，所取得的主要研究成果為：
　　 1.提出了一種基于文本語(yǔ)義圖的文本表示模型。為了解決詞頻統(tǒng)計(jì)文本表示方法中詞語(yǔ)語(yǔ)義信息缺失的問(wèn)題，本文在考慮文本中詞語(yǔ)上下文語(yǔ)境和語(yǔ)義背景信息的基礎(chǔ)上，提出了一種新的中文文本表示模型：文本語(yǔ)義圖。利用維基百科作為知識(shí)背景計(jì)算文本中實(shí)意特征詞語(yǔ)

3、的語(yǔ)義關(guān)聯(lián)，將具有較強(qiáng)語(yǔ)義關(guān)系的詞語(yǔ)合并成詞包作為圖的節(jié)點(diǎn)，節(jié)點(diǎn)權(quán)值用詞包所包含詞語(yǔ)的數(shù)目及詞頻計(jì)算；不同詞包中詞語(yǔ)間的上下文關(guān)系作為圖的有向邊，有向邊權(quán)值用其鄰接節(jié)點(diǎn)的最大權(quán)值表示，該模型較大程度地保留文本中詞語(yǔ)上下文信息的同時(shí)強(qiáng)化了詞語(yǔ)的語(yǔ)義內(nèi)涵。
　　 2.提出了一種基于虛擬分類樹的多層文本分類方法。針對(duì)現(xiàn)有多層分類方法采用自上而下建立分類模型，樣本數(shù)據(jù)被多次重復(fù)學(xué)習(xí)的問(wèn)題，提出了一種基于虛擬分類樹的多層文本分類方法。該分

4、類方法采用了自底向上的方式構(gòu)建分類器。在自頂向下文本分類過(guò)程中，計(jì)算經(jīng)過(guò)預(yù)處理后的文檔向量與關(guān)聯(lián)分類器之間的相似程度，并選擇其中的最大值用來(lái)確定該文檔所屬的類別，直到將文檔歸結(jié)到葉子結(jié)點(diǎn)。
　　 3.提出了多層文本分類的增量學(xué)習(xí)算法。結(jié)合單文檔調(diào)整與新增樣本集的學(xué)習(xí)問(wèn)題分析，提出了兩種模式下基于多層分類模型的增量學(xué)習(xí)算法：?jiǎn)挝臋n調(diào)整通過(guò)尋找分類路徑與實(shí)際路徑的最左不匹配結(jié)點(diǎn)重新學(xué)習(xí)并更新虛擬分類樹分類模型；新增樣本集利用增量特征

5、選擇算法增量更新特征空間，并重新計(jì)算權(quán)值以提升分類模型的準(zhǔn)確性。
　　 4.提出了一種多層文本分類性能評(píng)價(jià)方法。為了準(zhǔn)確評(píng)價(jià)多層文本分類方法，利用多層分類結(jié)構(gòu)中類別之間的層次關(guān)系和“親疏”關(guān)系，提出了一組能夠準(zhǔn)確描述多層分類性能的擴(kuò)展評(píng)價(jià)指標(biāo)，并利用錯(cuò)誤分類樣本分布定義了錯(cuò)誤分類集中度，在評(píng)價(jià)分類結(jié)果的同時(shí)能夠指導(dǎo)訓(xùn)練樣本的選擇過(guò)程，使得訓(xùn)練樣本更具有代表性。
　　 5.設(shè)計(jì)了一種文本信息處理過(guò)程模型。針對(duì)文本情報(bào)處理的