基于視覺特征中文網(wǎng)頁分類方法的研究.pdf

1、近年來，基于視覺特征的網(wǎng)頁分割技術(shù)越來越受到人們的關(guān)注，它模擬了人們在視覺感知角度上對于一個網(wǎng)頁結(jié)構(gòu)的理解，此技術(shù)對于信息檢索、信息提取、網(wǎng)頁自動分類等網(wǎng)絡(luò)應(yīng)用技術(shù)將起到極大的推動作用。網(wǎng)頁自動分類問題是網(wǎng)頁分割技術(shù)的重要應(yīng)用之一。作為一個具有代表性的網(wǎng)頁分類問題，中文網(wǎng)頁分類一直是眾多學(xué)者研究對象。本文的研究主要著眼于以下幾個方面： 首先，將傳統(tǒng)的基于文檔對象模型(Document Object Model，DOM)樹的網(wǎng)頁表

2、示方法與基于視覺特征(vision based)的網(wǎng)頁表示法進(jìn)行了全面的比較。基于視覺特征的網(wǎng)頁表示法在進(jìn)行網(wǎng)頁結(jié)構(gòu)分析時采用的是一種自上而下、不依賴于標(biāo)簽樹(tag-tree)的方式，即與編寫網(wǎng)頁的HTML文檔的表達(dá)方式無關(guān)。它充分利用了網(wǎng)頁中可視化的信息從而得到基于視覺特征的網(wǎng)頁結(jié)構(gòu)，較好地解決了網(wǎng)頁的DOM樹結(jié)構(gòu)與語義結(jié)構(gòu)的兼容問題。利用可視化的分割符將網(wǎng)頁劃分成分塊并抽象成層次結(jié)構(gòu)，這種層次化的語義結(jié)構(gòu)在一定程度上與人們的直觀感

3、知是相吻合的。 其次，在基于視覺特征的網(wǎng)頁分割算法的基礎(chǔ)上，提出了一種根據(jù)分塊重要度進(jìn)行中文網(wǎng)頁分類的方法。利用基于視覺特征的網(wǎng)頁分割法將中文網(wǎng)頁分割后，由于網(wǎng)頁中“噪聲”信息的存在，所得到的分塊并不都是具有同等權(quán)值(重要度)的，只有權(quán)值較高的分塊才能在語義上反映出網(wǎng)頁的主題，利用這些高權(quán)值分塊進(jìn)行中文網(wǎng)頁分類可以獲得更好的分類質(zhì)量。在分類系統(tǒng)中，查全率(Recall)和查準(zhǔn)率(Preclslon)反映了分類質(zhì)量的兩個不同方面，

4、兩者必須綜合考慮，表示為F1測試值，本文實驗用F1值來衡量最終的分類質(zhì)量。 在本文實驗中，將傳統(tǒng)的全文網(wǎng)頁分類方法和基于視覺特征的利用分塊重要度的網(wǎng)頁分類法進(jìn)行了比較。實驗結(jié)果表明利用分塊重要度的分類法由于綜合考慮了網(wǎng)頁層次結(jié)構(gòu)和語義機構(gòu)，其分類質(zhì)量為最佳。實驗中的分類器選擇的是支持向量機(Support Vector Machine，SVM)分類器和K-近鄰法(K-Nearest Neighbour,KNN)分類器。基于視覺特