基于改進(jìn)DOM樹的主題型網(wǎng)頁(yè)去噪聲研究.pdf

1、隨著Internet的高速發(fā)展，Web上承載的網(wǎng)頁(yè)數(shù)據(jù)也與日俱增。一個(gè)普通網(wǎng)頁(yè)上包含的數(shù)據(jù)一般可以分成兩部分：內(nèi)容塊和噪聲塊，其中噪聲塊主要包括網(wǎng)頁(yè)頂部或側(cè)邊的導(dǎo)航欄、四周的廣告條和底部的版權(quán)信息等。噪音數(shù)據(jù)幾乎占據(jù)網(wǎng)頁(yè)的一半比例，并且這個(gè)比例還在持續(xù)增長(zhǎng)。網(wǎng)頁(yè)噪音數(shù)據(jù)的持續(xù)增長(zhǎng)不僅使用戶更難獲取與主題相關(guān)的信息，而且加大用戶搜索有用信息的效率，因此如何快速去除網(wǎng)頁(yè)上與主題信息無(wú)關(guān)的噪音信息顯得尤為重要。
　　網(wǎng)頁(yè)去噪的方法一般分

2、為基于網(wǎng)頁(yè)模板的去噪方法、基于網(wǎng)頁(yè)視覺信息的去噪方法和基于DO M樹的去噪方法。本文主要基于DO M樹結(jié)構(gòu)對(duì)主題型網(wǎng)頁(yè)進(jìn)行去噪處理。在以往的基于 DO M樹的網(wǎng)頁(yè)去噪研究中，研究者大多根據(jù)設(shè)定的規(guī)則首先將 DO M樹節(jié)點(diǎn)劃分不同類型，然后根據(jù)節(jié)點(diǎn)類型判斷哪些是噪音節(jié)點(diǎn)。但根據(jù)某單一因素便過(guò)早將節(jié)點(diǎn)劃分不同類型，可能會(huì)造成節(jié)點(diǎn)類型誤判，從而影響后續(xù)的去噪效果。另外本文通過(guò)分析國(guó)內(nèi)幾大門戶網(wǎng)站的二級(jí)詳情頁(yè)，發(fā)現(xiàn)主題型的網(wǎng)頁(yè)具有主題突出、文字

3、內(nèi)容較多、圖片和鏈接較少等特征。
　　針對(duì)以往基于DO M樹研究的不足和主題型網(wǎng)頁(yè)的結(jié)構(gòu)特點(diǎn)、文本特點(diǎn)、標(biāo)簽語(yǔ)義特點(diǎn)等，本文在傳統(tǒng)DO M樹基礎(chǔ)上構(gòu)建一種改進(jìn)的DO M樹模型，并基于此改進(jìn)的DO M樹模型給出了主題型網(wǎng)頁(yè)的去噪方法，研究的主要內(nèi)容如下：
　?。?）將HTML標(biāo)簽依據(jù)與主題相關(guān)性和節(jié)點(diǎn)劃分粒度分為主題塊標(biāo)簽和非主題塊標(biāo)簽。綜合考慮主題型網(wǎng)頁(yè)中標(biāo)簽與主題語(yǔ)義關(guān)聯(lián)度、節(jié)點(diǎn)內(nèi)鏈接特征值、節(jié)點(diǎn)內(nèi)文本長(zhǎng)度、節(jié)點(diǎn)內(nèi)子節(jié)點(diǎn)純

4、文本節(jié)點(diǎn)數(shù)、節(jié)點(diǎn)內(nèi)圖片個(gè)數(shù)，在構(gòu)建 DO M樹時(shí)依次給 Node節(jié)點(diǎn)添加自定義屬性 tagDeg、linkVal、textLen、textNum、picNum。
　?。?）提出了改進(jìn)DOM樹模型。首先把HTML文檔解析成DOM樹結(jié)構(gòu)，然后遍歷DO M樹依次給DO M樹中節(jié)點(diǎn)添加自定義屬性，在對(duì)DO M內(nèi)非主題塊節(jié)點(diǎn)進(jìn)行合并時(shí)，同時(shí)也對(duì)節(jié)點(diǎn)內(nèi)新添加屬性tagDeg和link Va l的值進(jìn)行累加計(jì)算，最后構(gòu)建只包含主題塊節(jié)點(diǎn)的改進(jìn)的