基于XML元素處理的Web信息抽取研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，Internet已經(jīng)取代了電視、廣播、報(bào)紙等傳統(tǒng)媒介，成為人們生活中最重要的信息獲取手段。互聯(lián)網(wǎng)上有數(shù)以萬(wàn)計(jì)的Web頁(yè)面，這些頁(yè)面中有海量的信息。人們不斷研究如何能從這些Web頁(yè)面中獲取需要的信息，Web信息抽取成了一個(gè)有重要研究意義的課題。本文對(duì)現(xiàn)有的Web信息抽取技術(shù)進(jìn)行了研究及分析，總結(jié)它們的優(yōu)缺點(diǎn)，然后在現(xiàn)有技術(shù)的改進(jìn)和整合之上，提出了一種新的基于XML元素處理的Web頁(yè)面信息抽取方法，并對(duì)其進(jìn)行了研究

2、與實(shí)現(xiàn)。主要內(nèi)容如下： ⑴對(duì)Web頁(yè)面的HTML文檔進(jìn)行預(yù)處理，并完成了定義系統(tǒng)需要的核心數(shù)據(jù)結(jié)構(gòu)及函數(shù)的工作。在制定Web信息抽取的規(guī)則時(shí)，將需要進(jìn)行的操作以及所需變量定義成XML元素，寫(xiě)入XML形式的配置文件。系統(tǒng)運(yùn)行后通過(guò)加載定義好的各種XML元素處理器，采用管道式執(zhí)行的方式完成Web信息抽取的相關(guān)操作。 ⑵根據(jù)文檔DOM樹(shù)的結(jié)構(gòu)引入了DOM節(jié)點(diǎn)路徑權(quán)值的概念，并設(shè)計(jì)了一種基于DOM樹(shù)節(jié)點(diǎn)路徑權(quán)值計(jì)算的算法，生成W

3、eb頁(yè)面主體信息路徑。該算法需要計(jì)算各子樹(shù)中非葉節(jié)點(diǎn)的路徑權(quán)值，通過(guò)比較，選出其中權(quán)值較大的若干節(jié)點(diǎn)，這些各層次的節(jié)點(diǎn)組成的序列就是信息路徑。此外還對(duì)抽取結(jié)果的數(shù)據(jù)庫(kù)集成進(jìn)行研究。 ⑶對(duì)系統(tǒng)的性能進(jìn)行了測(cè)試并對(duì)結(jié)果進(jìn)行分析。測(cè)試分為兩方面：一方面驗(yàn)證了對(duì)源HTML文檔進(jìn)行預(yù)處理后，系統(tǒng)執(zhí)行所花費(fèi)的時(shí)間比未進(jìn)行預(yù)處理少，并且分析了Web頁(yè)面信息抽取的時(shí)間復(fù)雜度。另一方面通過(guò)對(duì)各種數(shù)據(jù)密集型Web頁(yè)面進(jìn)行信息抽取測(cè)試，結(jié)合相關(guān)的評(píng)價(jià)