基于HTML的Web信息抽取技術的研究與應用.pdf

1、伴隨著科技的進步和Internet的不斷發(fā)展,互聯網開始逐漸成為現代人了解世界的重要媒介,同時網絡上的信息每天都在更新,如何才能批量而精準的獲取網絡媒體中的新聞和文章等信息并將其轉化為結構化的記錄呢?Web信息抽取有望幫人們解決這些難題,但是現有的信息抽取技術大多是采用半自動化的方式建立的,抽取規(guī)則的建立需要大量的人工參與,針對這一問題筆者結合新聞類型的網頁對信息抽取技術展開研究。
　　 本文先根據url和關鍵詞完成目標網頁的定

2、位,后抽取新聞列表頁的列表信息和新聞正文頁的正文內容,結合人工智能思想和已有的Web信息抽取技術進行以下幾方面的工作:
　　 1.從首頁逐級定位到目標網頁一般很難塑造出某種模型,所以考慮將文本聚類中的語義相似度算法應用到該過程中,將用戶輸入的描繪目標網頁類別的關鍵詞與各級導航欄中的欄目名稱進行相似度計算,建立自動探測目標網頁的模型,從而實現這一過程的自動獲取。
　　 2.為了更好的分析和研究新聞信息列表頁的抽取,將HTM

3、L格式的頁面轉換成為XML格式的文檔,獲取每個節(jié)點的Xpath路徑,利用新聞信息列表頁中的某些特征作為輸入層的神經元信息建立BP神經網絡模型,通過訓練樣本得出待抽取信息所在路徑的最優(yōu)解,最終達到信息列表頁的信息抽取。
　　 3.從新聞正文頁轉化而來的XML文檔入手,充分利用每一行的文字密度比這一顯著特征建立BP神經網絡模型,憑借神經網絡模型優(yōu)秀的機器學習能力,實現統(tǒng)計學思想與信息抽取的完美結合,并在其基礎上建立正文頁的抽取規(guī)則。