Web數(shù)據(jù)融合中網(wǎng)頁(yè)清洗相關(guān)技術(shù)研究.pdf

1、互聯(lián)網(wǎng)中存在大量的重復(fù)網(wǎng)頁(yè)和網(wǎng)頁(yè)噪聲，用戶可能需要花費(fèi)比預(yù)期更長(zhǎng)時(shí)間以獲取所需信息。利用Web數(shù)據(jù)融合給用戶呈現(xiàn)所需信息之前，需要對(duì)這些內(nèi)容進(jìn)行清洗。
　　利用網(wǎng)頁(yè)代碼的層次結(jié)構(gòu)以及網(wǎng)頁(yè)正文內(nèi)容的特征信息，本文采用基于DOM結(jié)構(gòu)樹(shù)和詞葉率（WLR值）的方法對(duì)網(wǎng)頁(yè)噪聲進(jìn)行清洗，所有的操作都在DOM樹(shù)上完成，保留Web正文完整的結(jié)構(gòu)信息。在節(jié)點(diǎn)的統(tǒng)計(jì)信息中只計(jì)算所包含的葉子節(jié)點(diǎn)數(shù)（所有的文本內(nèi)容都是包含在葉子節(jié)點(diǎn)中），統(tǒng)計(jì)信息更精確。

2、
　　在重復(fù)網(wǎng)頁(yè)的識(shí)別過(guò)程中，為提高特征項(xiàng)對(duì)全文的表征性，采用“先分割，再提取”的特征提取方法，在原有的經(jīng)典分割方法—TSF的基礎(chǔ)上加以改進(jìn)，根據(jù)句子相似性矩陣，動(dòng)態(tài)指定塊大小，自動(dòng)識(shí)別主題邊界，不依賴用戶的參與，將網(wǎng)頁(yè)文本分割成局部連貫的子主題片段。從每個(gè)主題片段提取關(guān)鍵句作為片段的特征項(xiàng)，特征項(xiàng)在一定程度上遵循子主題的變化，能更完整表示一個(gè)網(wǎng)頁(yè)的內(nèi)容。
　　本文中借鑒simHash指紋的生成思路為每個(gè)主題片段生成一個(gè)特征