基于視覺語義塊的網(wǎng)頁正文提取算法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，以及網(wǎng)絡(luò)信息的爆炸性增長(zhǎng)，網(wǎng)頁的數(shù)量也開始了急劇增加，人們也越來越習(xí)慣于借助搜索引擎這一工具來從浩如煙海的互聯(lián)網(wǎng)上獲取自己所需要的信息。然而，通常情況下一張網(wǎng)頁并不僅僅包含了用戶所需的正文信息，它還通常還有其他各種非正文信息，如導(dǎo)航欄，廣告鏈接，推薦鏈接等，這類噪音信息的存在，給搜索引擎的效率和準(zhǔn)確率帶來了極大地干擾，因此，網(wǎng)頁正文提取技術(shù)也就成為了搜索引擎領(lǐng)域的一個(gè)重大課題。
　　 本文提出了一種基于

2、視覺語義塊的網(wǎng)頁正文提取算法，該算法擺脫了現(xiàn)有主流正文提取算法對(duì)于網(wǎng)頁文本的依賴性，而是從用戶視覺角度出發(fā)，將網(wǎng)頁根據(jù)語義特征分割為一個(gè)個(gè)語義塊，然后尋找其中面積最大的語義塊，再進(jìn)而尋找與之結(jié)構(gòu)類似的語義塊，通過不斷循環(huán)查找，最后提取出網(wǎng)頁的正文信息。一方面，由于該算法并不依賴于網(wǎng)頁文本分布密度，在一些噪音信息同樣含有大量文本的網(wǎng)頁中也能取得很好的效果，而且還能將正文信息中包含的圖片、視頻等也一并提取出來，因而提高了算法的健壯性;另一方

3、面，該算法在處理DOM樹的過程中，并不需要遍歷整棵DOM樹來查找目標(biāo)信息，而只需要對(duì)DOM樹的葉子結(jié)點(diǎn)進(jìn)行處理，從而節(jié)省了查找時(shí)間，大大提高了正文提取的效率。
　　 本文通過對(duì)15個(gè)門戶網(wǎng)站的300個(gè)網(wǎng)頁進(jìn)行了實(shí)驗(yàn)分析，其中包含了新聞、博客、論壇、BBS等各類主題性網(wǎng)頁。實(shí)驗(yàn)結(jié)果表明，本文的基于視覺語義塊的網(wǎng)頁正文提取算法基本可以達(dá)到94％以上的提取準(zhǔn)確率和召回率。而且由于算法角度的不同，該算法還可以與其他傳統(tǒng)基于網(wǎng)頁文本的算法