基于頁面分塊的網(wǎng)頁內(nèi)容提取的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的來臨，Web已經(jīng)成為世界上最大的信息源，給人們生活帶來了極大的方便。但是Web在給人們提供豐富信息的同時(shí)，又使人們?cè)趯?duì)它們的有效使用方面面臨一個(gè)巨大的挑戰(zhàn)。一方面網(wǎng)上的信息多種多樣、豐富多彩，另一方面用戶卻找不到他們所需要的信息。為了更好的使用Web上的信息，人們不斷研究能夠有效組織和利用網(wǎng)上信息的技術(shù)。然而，Web文檔不像傳統(tǒng)的文本那樣整齊、干凈，其中包含大量噪音內(nèi)容，例如為了增強(qiáng)用戶交互性而加入的腳本，為了便于用戶瀏

2、覽而加入的導(dǎo)航鏈接，以及出于商業(yè)因素所加入的廣告鏈接等。這些噪音內(nèi)容往往和網(wǎng)頁的主題不相關(guān)，在網(wǎng)頁分類、信息檢索等Web應(yīng)用中，如果不去除這些噪音內(nèi)容，不僅降低信息處理程序的執(zhí)行速度，還將影響分類和檢索的準(zhǔn)確度。比如在信息檢索時(shí)，可能僅僅因?yàn)槟骋豁撁鎻V告信息中包含用戶所查找的關(guān)鍵字而將該頁面返回給用戶。因此，快速準(zhǔn)確地提取從網(wǎng)頁的主題內(nèi)容和主題相關(guān)內(nèi)容已經(jīng)成為Web信息處理系統(tǒng)預(yù)處理環(huán)節(jié)中一個(gè)必不可少的環(huán)節(jié)。
　　 本文在網(wǎng)頁內(nèi)

3、容提取方面主要做了以下幾點(diǎn)研究：
　　 (1)提出了并實(shí)現(xiàn)了一種主題型頁面識(shí)別算法，該算法利用主題型頁面的多個(gè)特征，首先通過啟發(fā)式規(guī)則過濾，然后再通過分類器對(duì)不能識(shí)別網(wǎng)頁進(jìn)一步分類，實(shí)驗(yàn)證明了該算法具有較好的識(shí)別效果。
　　 (2)針對(duì)以往網(wǎng)頁分塊算法只使用一種線索的不足，提出并實(shí)現(xiàn)了基于多線索的網(wǎng)頁分塊算法，該算法綜合利用了標(biāo)簽線索，視覺線索和文本線索，對(duì)網(wǎng)頁進(jìn)行分塊，生成語義塊樹結(jié)構(gòu)，并保留語義塊的視覺信息等，方便后

4、序利用。通過實(shí)驗(yàn)證明和現(xiàn)有分塊算法相比，本文提出的算法提高了分塊準(zhǔn)確率，并且更為魯棒，適用范圍更廣。
　　 (3)總結(jié)了網(wǎng)頁內(nèi)容塊的主要特征，提出并實(shí)現(xiàn)了一種基于組合特征的主題內(nèi)容塊識(shí)別算法，該算法將基于文字特征識(shí)別的算法和基于布局特征識(shí)別的算法組合起來?；谖谋咎卣髯R(shí)別算法偏重于語義塊內(nèi)部的文字內(nèi)容，而基于布局特征的算法反映的是語義塊內(nèi)部的結(jié)構(gòu)信息。兩個(gè)算法組合起來使用，最后識(shí)別出的主題塊既能反映其文本的重要性，又能反映其內(nèi)部