基于多特征的HTML網(wǎng)頁內(nèi)容提取的研究.pdf

1、網(wǎng)頁內(nèi)往往包含豐富而不同的內(nèi)容，可以分為主題相關(guān)內(nèi)容和主題不相關(guān)內(nèi)容，識別出主題相關(guān)內(nèi)容應(yīng)用于網(wǎng)頁檢索，分類等，可以很大程度上節(jié)約空間以及提高這些應(yīng)用的性能。此方面的研究已經(jīng)有很多，也取得了很大的成果，其中研究較多和應(yīng)用較廣的是利用分塊思想：首先將網(wǎng)頁看作是由多個分離的聚集塊組成，然后識別并取得需要的主題相關(guān)內(nèi)容，即主題信息塊。識別并提取網(wǎng)頁主題相關(guān)內(nèi)容的這一過程稱為網(wǎng)頁內(nèi)容提取。網(wǎng)頁內(nèi)容提取對Web中的Hub型網(wǎng)頁和主題型網(wǎng)頁有不同的

2、含義，對前者是找到該網(wǎng)頁中非噪音內(nèi)容的主要鏈接：對后者是發(fā)現(xiàn)描述網(wǎng)頁主題內(nèi)容的文本以及相關(guān)鏈接。本文的研究主要著眼于以下幾個方面： 首先，本文研究介紹了網(wǎng)頁的類型劃分以及分析了幾種較為有效的劃分網(wǎng)頁類型的算法，并在此基礎(chǔ)上提出了一種改進(jìn)的網(wǎng)頁類型劃分的方法。這種改進(jìn)的算法分為兩個階段。首先利用VIPS算法將網(wǎng)頁劃分為一個個的信息塊，然后分別判斷每一塊的類型，并根據(jù)這些信息塊中是否存在一個滿足要求的主題型信息塊來判斷網(wǎng)頁的類型。實

3、驗結(jié)果表明該方法能準(zhǔn)確的劃分出網(wǎng)頁的類型，正確率達(dá)到98.6％。 其次，本文總結(jié)了以往網(wǎng)頁內(nèi)容提取的各種方法，在此基礎(chǔ)上，提出了一種新的網(wǎng)頁內(nèi)容提取算法，該算法在網(wǎng)頁分塊的基礎(chǔ)上，分析每一塊的特征，得到了主題信息塊的多個特征。并利用概率論對這些特征進(jìn)行量化，得到每個特征與信息塊為主題內(nèi)容的一個對應(yīng)的概率關(guān)系，最后綜合信息塊的所有特征計算得到這個信息塊是主題內(nèi)容的總的概率，通過將這個概率與閾值的比較來判斷信息塊的性質(zhì)。通過實驗可以

4、明顯地看到新算法有效地提取了網(wǎng)頁的主題內(nèi)容，并優(yōu)于其它同類算法。 最后，本文給出了兩個具體的網(wǎng)頁內(nèi)容提取的應(yīng)用：Hidden Web分類和Web檢索。在Hidden Web分類中，通過應(yīng)用本文提出的新的網(wǎng)頁內(nèi)容提取算法得到Hidden Web的文本描述信息，并將其作為一個分類影響因素，從而明顯的提高了分類的效果。在Web檢索中，本文用新的網(wǎng)頁內(nèi)容提取算法提取網(wǎng)頁主題內(nèi)容，對實驗集建立索引，進(jìn)行檢索，并與同類方法進(jìn)行比較，實驗結(jié)果