基于向量空間模型與規(guī)則匹配相結合的文本層次分類系統(tǒng)的研究.pdf

1、隨著網(wǎng)絡的普及與發(fā)展，數(shù)字化電子類信息資源極大的豐富和流通。對Internet上海量信息的有效組織和處理是網(wǎng)絡時代所面臨的巨大挑戰(zhàn)。分門別類地對其進行自動分類，是當前圖書情報及計算機界研究的熱點。在這一領域，人們已經(jīng)進行了大量的研究。但較為實用且可行的系統(tǒng)卻不多。為此本系統(tǒng)研究了對海量數(shù)字資源進行特征抽取、表示、分類的方法和相關技術，為數(shù)字資源的自動化處理提供可參考的依據(jù)和可行的方案。 在該分類系統(tǒng)的構建過程中，本系統(tǒng)著重從以下

2、幾方面進行系統(tǒng)開發(fā)：探索有效的特征抽取與選擇方法，找出其權值表示模式，尤其是關鍵詞詞表的構造與維護。在統(tǒng)計與規(guī)則兩類不同分類方法中找到其切合點，探索如何將兩種方法進行結合，發(fā)揮其各自的優(yōu)點，提升分類器的效率和準確性。探索線性分類與層次分類的區(qū)別與聯(lián)系，找出采用層次分類的優(yōu)勢所在，實驗其可行}生。探索自動分類技術在現(xiàn)實環(huán)境中的實用性，解決現(xiàn)實中存在的一些阻礙因素。在本文中我們分別給出了這些問題的解決方案和處理的算法和流程及相應的數(shù)據(jù)結構。

3、針對研究過程中遇到的問題，本系統(tǒng)在應用相關領域的研究成果基礎上，提出了多個新的算法和思路： 借鑒關鍵詞輪排原理，結合相關統(tǒng)計模型，從正反兩個方向對原始抽詞詞典進行壓縮和優(yōu)選，達到降維和準確表達主題的目的； 針對不同特征選擇及權值計算方法的特點，采用多方法結合以投票方式進行特征選擇和權值賦值，提高標引準確性； 針對分類體系的特點，研究提出逐級分類的算法，達到快速準確進行分類的目的； 驗證統(tǒng)計與決策規(guī)則兩種方