基于內(nèi)容單元的網(wǎng)頁(yè)解析與內(nèi)容提取.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，在線中文網(wǎng)頁(yè)的數(shù)量迅速增加，互聯(lián)網(wǎng)上的信息量越來(lái)越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取所需要的知識(shí)和信息。然而互聯(lián)網(wǎng)上的網(wǎng)頁(yè)普遍存在著一些與用戶需求無(wú)關(guān)的噪聲內(nèi)容，這些內(nèi)容影響了搜索引擎對(duì)網(wǎng)頁(yè)的處理質(zhì)量。因此，對(duì)全部網(wǎng)頁(yè)的預(yù)處理工作就必不可少。
　　本文的目的在于通過(guò)網(wǎng)頁(yè)預(yù)處理技術(shù)，為搜索引擎建立一個(gè)內(nèi)容精煉、格式完整、編碼統(tǒng)一的凈化網(wǎng)頁(yè)庫(kù)，為其他模塊提供數(shù)據(jù)支持。
　　網(wǎng)

2、頁(yè)處理技術(shù)經(jīng)過(guò)多年的發(fā)展，逐漸形成了DOM結(jié)點(diǎn)解析與分塊解析兩種思路。然而由于對(duì)網(wǎng)頁(yè)分劃粒度的不當(dāng)，前者容易割裂結(jié)點(diǎn)之間的語(yǔ)義關(guān)聯(lián)，后者很難過(guò)濾分塊內(nèi)部的內(nèi)容。為了彌補(bǔ)他們的缺陷，本文找到了一種介于二者之間的網(wǎng)頁(yè)解析粒度，稱為內(nèi)容單元，并在內(nèi)容單元粒度上完成了網(wǎng)頁(yè)預(yù)處理工作。本文的研究?jī)?nèi)容主要包括以下幾個(gè)方面：
　　(1)提出網(wǎng)頁(yè)內(nèi)容單元的定義，并以內(nèi)容單元為粒度完成網(wǎng)頁(yè)分割解析；
　　(2)利用內(nèi)容單元反映出來(lái)的網(wǎng)頁(yè)結(jié)構(gòu)特

3、征和語(yǔ)言特征，完成主題型網(wǎng)頁(yè)的識(shí)別；根據(jù)內(nèi)容單元的組成、結(jié)構(gòu)和功能，利用啟發(fā)式規(guī)則對(duì)其進(jìn)行取舍，完成網(wǎng)頁(yè)正文內(nèi)容的提??；識(shí)別具有特定功能的內(nèi)容單元，提取他們當(dāng)中蘊(yùn)含的網(wǎng)頁(yè)題目、時(shí)間、導(dǎo)航等信息；
　　(3)在單個(gè)網(wǎng)頁(yè)的基礎(chǔ)上構(gòu)造并行凈化程序，完成搜索引擎T級(jí)(terabyte)原始數(shù)據(jù)的凈化，重組格式，統(tǒng)一編碼。
　　從實(shí)驗(yàn)中得到的結(jié)論證明了網(wǎng)頁(yè)內(nèi)容單元解析粒度的有效性，對(duì)比顯示了基于內(nèi)容單元的網(wǎng)頁(yè)預(yù)處理對(duì)主題型網(wǎng)頁(yè)識(shí)別和正