基于內容單元的網頁解析與內容提取.pdf

1、隨著互聯網技術的發(fā)展，在線中文網頁的數量迅速增加，互聯網上的信息量越來越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取所需要的知識和信息。然而互聯網上的網頁普遍存在著一些與用戶需求無關的噪聲內容，這些內容影響了搜索引擎對網頁的處理質量。因此，對全部網頁的預處理工作就必不可少。
　　本文的目的在于通過網頁預處理技術，為搜索引擎建立一個內容精煉、格式完整、編碼統(tǒng)一的凈化網頁庫，為其他模塊提供數據支持。
　　網

2、頁處理技術經過多年的發(fā)展，逐漸形成了DOM結點解析與分塊解析兩種思路。然而由于對網頁分劃粒度的不當，前者容易割裂結點之間的語義關聯，后者很難過濾分塊內部的內容。為了彌補他們的缺陷，本文找到了一種介于二者之間的網頁解析粒度，稱為內容單元，并在內容單元粒度上完成了網頁預處理工作。本文的研究內容主要包括以下幾個方面：
　　(1)提出網頁內容單元的定義，并以內容單元為粒度完成網頁分割解析；
　　(2)利用內容單元反映出來的網頁結構特

3、征和語言特征，完成主題型網頁的識別；根據內容單元的組成、結構和功能，利用啟發(fā)式規(guī)則對其進行取舍，完成網頁正文內容的提?。蛔R別具有特定功能的內容單元，提取他們當中蘊含的網頁題目、時間、導航等信息；
　　(3)在單個網頁的基礎上構造并行凈化程序，完成搜索引擎T級(terabyte)原始數據的凈化，重組格式，統(tǒng)一編碼。
　　從實驗中得到的結論證明了網頁內容單元解析粒度的有效性，對比顯示了基于內容單元的網頁預處理對主題型網頁識別和正