網頁分類與信息采集方法研究.pdf

1、網頁分類與信息采集系統(tǒng)中包含了網頁爬取、網頁識別和文本采集，其中傳統(tǒng)的依靠人工進行網頁識別的方式在網頁信息容量快速增長的條件下是不合理的。同時，Web頁面中包含的大量的噪聲信息為網頁文本采集增加了難度，現有的文本采集技術具有人工維護成本大、準確率不高和通用性不強的缺點。因此，網頁的自動識別與文本采集研究成為一個重要的方向。它們與信息檢索、搜索引擎、網絡輿情和文本推薦等技術相結合，為信息的獲取提供了便利。
　　本文研究內容主要有以下

2、幾個方面：
　　（1）根據網頁分類與信息采集系統(tǒng)的要求，提出基于Web結構特征挖掘的網頁類型自動識別方法。該方法的研究重點是特征的選取，在了解網頁特征挖掘的基礎上，研究了不同網頁在結構上的相異的地方，抽取出能夠表征網頁的特征集，采用經典的分類算法（決策樹）構建分類器，從而達到中文網頁自動識別的目的。
　　（2）在文本采集自動化的要求下，提出一種基于HTML標簽特征挖掘的BBS網頁文本提取方法，即文本塊抽取。其中心思想是基于以

3、下特點：網頁文檔的樹型結構、多文本中心性、標簽元素的層次性等等。在此基礎上，提出了基于智能模板的BBS網頁文本提取方法，主要思想是通過基于HTML標簽特征挖掘的BBS網頁文本提取方法找到所需的多文本塊的公共信息，然后自動配置該網站對應的文本解析模板，最后采用該模板進行網頁文本的解析。
　?。?）搭建網頁分類與信息采集系統(tǒng)。本文系統(tǒng)包含了網頁抓取、網頁識別、網頁文本抽取和UI部分。其中網頁抓取部分采用通用的抓取技術和流程，目標是對全