文本語義表示及多層分類關(guān)鍵技術(shù)研究.pdf

1、信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)技術(shù)的快速變革使得人類社會進入了信息極大豐富和快速更新的時代，特別是近年來各種社交網(wǎng)絡(luò)的出現(xiàn)，每天有海量文本信息不斷在網(wǎng)絡(luò)上產(chǎn)生和傳播。人們所面對的問題不再是如何獲取信息，而是如何從大量信息中迅速有效地提取出所需信息。文本分類作為一項具有較大使用價值的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂的問題，方便用戶準確地定位所需的信息和分流信息。隨著分類技術(shù)在信息檢索、輿情分析、信息過濾、新聞分類和數(shù)字圖書館等多個領(lǐng)域的

2、廣泛應(yīng)用，文本分類關(guān)鍵技術(shù)的研究已經(jīng)成為信息處理領(lǐng)域的一個前沿課題，有著廣泛的應(yīng)用前景和重要的研究意義。本文對文本語義表示及多層分類關(guān)鍵技術(shù)進行了系統(tǒng)的研究，所取得的主要研究成果為：
　　 1.提出了一種基于文本語義圖的文本表示模型。為了解決詞頻統(tǒng)計文本表示方法中詞語語義信息缺失的問題，本文在考慮文本中詞語上下文語境和語義背景信息的基礎(chǔ)上，提出了一種新的中文文本表示模型：文本語義圖。利用維基百科作為知識背景計算文本中實意特征詞語

3、的語義關(guān)聯(lián)，將具有較強語義關(guān)系的詞語合并成詞包作為圖的節(jié)點，節(jié)點權(quán)值用詞包所包含詞語的數(shù)目及詞頻計算；不同詞包中詞語間的上下文關(guān)系作為圖的有向邊，有向邊權(quán)值用其鄰接節(jié)點的最大權(quán)值表示，該模型較大程度地保留文本中詞語上下文信息的同時強化了詞語的語義內(nèi)涵。
　　 2.提出了一種基于虛擬分類樹的多層文本分類方法。針對現(xiàn)有多層分類方法采用自上而下建立分類模型，樣本數(shù)據(jù)被多次重復(fù)學(xué)習的問題，提出了一種基于虛擬分類樹的多層文本分類方法。該分

4、類方法采用了自底向上的方式構(gòu)建分類器。在自頂向下文本分類過程中，計算經(jīng)過預(yù)處理后的文檔向量與關(guān)聯(lián)分類器之間的相似程度，并選擇其中的最大值用來確定該文檔所屬的類別，直到將文檔歸結(jié)到葉子結(jié)點。
　　 3.提出了多層文本分類的增量學(xué)習算法。結(jié)合單文檔調(diào)整與新增樣本集的學(xué)習問題分析，提出了兩種模式下基于多層分類模型的增量學(xué)習算法：單文檔調(diào)整通過尋找分類路徑與實際路徑的最左不匹配結(jié)點重新學(xué)習并更新虛擬分類樹分類模型；新增樣本集利用增量特征

5、選擇算法增量更新特征空間，并重新計算權(quán)值以提升分類模型的準確性。
　　 4.提出了一種多層文本分類性能評價方法。為了準確評價多層文本分類方法，利用多層分類結(jié)構(gòu)中類別之間的層次關(guān)系和“親疏”關(guān)系，提出了一組能夠準確描述多層分類性能的擴展評價指標，并利用錯誤分類樣本分布定義了錯誤分類集中度，在評價分類結(jié)果的同時能夠指導(dǎo)訓(xùn)練樣本的選擇過程，使得訓(xùn)練樣本更具有代表性。
　　 5.設(shè)計了一種文本信息處理過程模型。針對文本情報處理的