網頁正文提取系統(tǒng)的詳細設計與實現(xiàn)-畢業(yè)設計

1、1目錄目錄摘要...................................................................................................31.緒論....................................................................................................41.1課題背景.

2、.....................................................................................41.1.1搜索引擎的歷史....................................................................41.1.2搜索引擎的發(fā)展方向.......................................

3、.....................51.1.3搜索引擎的最新技術發(fā)展....................................................61.2課題來源、目的和意義..............................................................81.3主要研究內容............................................

4、.................................92.網頁正文提取系統(tǒng)的詳細設計與實現(xiàn)..........................................102.1基本原理...................................................................................102.2網頁預處理系統(tǒng)......................

5、...............................................112.2.1HTML標簽規(guī)范化...............................................................112.2.1建立網頁的DOM樹結構.................................................143摘要隨著互聯(lián)網信息技術的不斷發(fā)展，互聯(lián)網的信息量

6、也日益膨脹。近年來，全球因特網上的信息數(shù)據(jù)正以爆炸式的速度在增長。據(jù)IDC報告稱，從現(xiàn)在到2010年，預計信息量將以每年57%的速度增長，在2010年信息總量將達到988EB（1EB=10億GB），約為2006年的6倍，相當于有史以來所有書籍數(shù)字信息量的1800萬倍。面對如此巨大的互聯(lián)網信息庫，如何快速、有效、經濟地檢索到某個主題的所有相關信息就成了當前一個十分熱門的研究課題。這時，搜索引擎的出現(xiàn)無疑給人們帶來了極大的方便。然而，隨著互

7、聯(lián)網信息的不斷巨增和搜索引擎所覆蓋網頁范圍的不斷擴大，人們發(fā)現(xiàn)，即使是借助搜索引擎的幫助，他們也越來越難以有效和準確的找到自己所需要的信息資源。本文在研究了現(xiàn)有的搜索引擎的解決方案后，通過采用一種統(tǒng)計網頁特征的方法，將中文網頁中的正文部分抽取出來。該方法首先將網頁表示成基于XML的DOM樹形式，利用統(tǒng)計的節(jié)點信息從樹中過濾掉噪音數(shù)據(jù)節(jié)點，最后再選取正文節(jié)點。該方法相比傳統(tǒng)的基于包裝器的抽取方法，具有簡單，實用的特點，試驗結果表明，該抽取