動(dòng)態(tài)網(wǎng)頁(yè)信息抽取技術(shù)的研究.pdf

1、Internet的飛速發(fā)展使其成為日益重要和最具潛力的資源。WWW作為一種新的信息資源，為計(jì)算機(jī)領(lǐng)域新技術(shù)的產(chǎn)生開(kāi)辟了新的領(lǐng)域，同時(shí)也為傳統(tǒng)技術(shù)的研究提出了新的方向。 研究表明，目前Web上的頁(yè)面主要是以動(dòng)態(tài)頁(yè)面的形式存在（占總數(shù)的80％以上），即用戶在調(diào)用頁(yè)面時(shí)臨時(shí)通過(guò)程序動(dòng)態(tài)生成的頁(yè)面。動(dòng)態(tài)頁(yè)面使用固定的顯示模板，然后將后臺(tái)數(shù)據(jù)庫(kù)中的數(shù)據(jù)嵌入而得。這些數(shù)據(jù)經(jīng)過(guò)專(zhuān)業(yè)人員組織整理，因而具有更高的價(jià)值。本文重點(diǎn)研究動(dòng)態(tài)頁(yè)面的抽取技

2、術(shù)，它的主要挑戰(zhàn)在于以下幾點(diǎn)：（1）動(dòng)態(tài)頁(yè)面表示形式千變?nèi)f化，如何從多樣的動(dòng)態(tài)頁(yè)面中有效的定位網(wǎng)頁(yè)信息。（2）用戶需要從動(dòng)態(tài)網(wǎng)頁(yè)中抽取的信息內(nèi)容可能多種多樣，如何精確的表示不同用戶所定義的不同的抽取請(qǐng)求。 本文重點(diǎn)研究了動(dòng)態(tài)網(wǎng)頁(yè)抽取技術(shù)。通過(guò)深入分析動(dòng)態(tài)網(wǎng)頁(yè)抽取技術(shù)中的關(guān)鍵和難點(diǎn)以及己實(shí)現(xiàn)系統(tǒng)的特點(diǎn)與不足，本人在研究獲得的算法基礎(chǔ)上設(shè)計(jì)了一個(gè)基于樹(shù)模型和Wrapper技術(shù)的動(dòng)態(tài)網(wǎng)頁(yè)抽取系統(tǒng)。主要的研究和成果如下： 1.

3、針對(duì)動(dòng)態(tài)網(wǎng)頁(yè)按信息結(jié)構(gòu)的不同進(jìn)行了分類(lèi)定義。將動(dòng)態(tài)網(wǎng)頁(yè)分為多記錄項(xiàng)動(dòng)態(tài)網(wǎng)頁(yè)和單記錄項(xiàng)動(dòng)態(tài)網(wǎng)頁(yè)。 2.針對(duì)多記錄動(dòng)態(tài)網(wǎng)頁(yè)，提出一種新的基于樹(shù)模型的信息抽取算法——DETM。它充分利用了HTML的樹(shù)型結(jié)構(gòu)，運(yùn)用樹(shù)編輯距離模型和樹(shù)歸并算法來(lái)定位和抽取網(wǎng)頁(yè)信息。 3.針對(duì)單記錄動(dòng)態(tài)網(wǎng)頁(yè)，提出一種基于用戶自定義模板的信息抽取算法。它利用模板自動(dòng)生成技術(shù)較好的解決了單記錄動(dòng)態(tài)網(wǎng)頁(yè)信息項(xiàng)定位比較困難這個(gè)難題，將網(wǎng)頁(yè)結(jié)構(gòu)信息使用XM