基于維基類目網(wǎng)絡(luò)和URL模式樹的網(wǎng)頁分類方法探究.pdf

1、分類是信息檢索中的一個重要問題,而網(wǎng)頁分類對于提高互聯(lián)網(wǎng)服務(wù)質(zhì)量尤其意義重大。諸多互聯(lián)網(wǎng)上的關(guān)鍵應(yīng)用包括站點目錄、搜索引擎、網(wǎng)頁爬蟲、推薦系統(tǒng)、用戶行為分析系統(tǒng)和廣告投放系統(tǒng)無不依賴于高效而準確的頁面分類來提高服務(wù)質(zhì)量。針對這些應(yīng)用中涉及到的分類問題,有許多分類方法相繼被提出,其中包括基于頁面內(nèi)容的文本分類方法?；陧撁鎯?nèi)容的分類方法依賴于正文質(zhì)量,如果正文質(zhì)量太差,或者文本長度太短,會導(dǎo)致分類性能的下降。隨著一些大規(guī)模詞典和類目體系的

2、建立,基于第三方詞庫的分類方法引起了廣泛的關(guān)注。第三方詞庫可以提供現(xiàn)成的語義類目,一方面可以作為輔助信息增強語義識別能力,提高分類的精度;另一方面可以直接用于分類,這樣的分類方式能從一定程度上解決短文本的分類缺陷,并且不需要依靠訓(xùn)練集,能高效地進行分類。
　　本文的分類建立在全網(wǎng)環(huán)境,全網(wǎng)環(huán)境數(shù)據(jù)結(jié)構(gòu)復(fù)雜、噪聲多、干擾強,使用傳統(tǒng)的分類方法,一方面如果文本質(zhì)量太差,會大大影響分類的準確率;另一方面,全網(wǎng)數(shù)據(jù)量龐大,使用傳統(tǒng)分類方法

3、勢必要通過引入大量訓(xùn)練集來訓(xùn)練分類模型,可能無法進行高效地分類。本文提出了一種基于維基網(wǎng)絡(luò)的主題分類模型,詞匯量和語義都及其豐富的維基類目網(wǎng)絡(luò)涵蓋了大量詞匯,并且維基百科是在線實時編輯系統(tǒng),很多詞匯甚至能“與時俱進”,從而對全網(wǎng)范圍的詞匯有較好的覆蓋。另外,這種分類方法不需要依賴訓(xùn)練集來訓(xùn)練模型,只要完成了維基網(wǎng)絡(luò)的類目關(guān)聯(lián)就可以用于分類預(yù)測。同時,盡管維基類目詞匯實時變化,但是整個類目體系相對比較穩(wěn)定,從而本方法可以在長時間內(nèi)保持有效