基于XML的Web信息抽取技術(shù)的應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展使其成為全球信息傳播與共享的重要資源，Web上的數(shù)據(jù)一直呈幾何級(jí)數(shù)增長(zhǎng)，要想從Web上獲取一條有用信息的難度卻越來(lái)越大，“信息過(guò)載”已經(jīng)成為一個(gè)亟待解決的問(wèn)題。一種理想的情況是：人們可以像查詢數(shù)據(jù)庫(kù)一樣查詢Web上的數(shù)據(jù)。然而，如何從浩繁的Web數(shù)據(jù)中抽取出有用的信息成為眾多研究工作希望解決的問(wèn)題。 Intemet具有的海量、異構(gòu)、動(dòng)態(tài)變化等特性使Web信息抽取不同于傳統(tǒng)信息抽取，同時(shí)帶來(lái)了新的挑戰(zhàn)。抽取技術(shù)隨著

2、需求的增加而不斷豐富，近年來(lái)國(guó)內(nèi)外涌現(xiàn)了多種信息抽取方法。這些方法各有側(cè)重地解決了上述Web信息抽取中面臨的問(wèn)題，總體上取得了良好的效果，但在某些方面存在不同程度的局限或缺陷。為了更好地解決Web信息抽取面臨的諸多問(wèn)題和不足，有必要對(duì)Web信息抽取問(wèn)題作進(jìn)一步研究。 本文使用標(biāo)準(zhǔn)的XML，技術(shù)來(lái)解決網(wǎng)頁(yè)信息抽取問(wèn)題?；跇?biāo)準(zhǔn)的XSIT，可以利用它強(qiáng)大而且靈活的特性編寫簡(jiǎn)單、健壯和通用的抽取規(guī)則。首先獲得目標(biāo)HTML頁(yè)，并將HTM

3、L，文檔轉(zhuǎn)換成符合XML語(yǔ)法的XHtTML，文檔，然后通過(guò)XML強(qiáng)大的數(shù)據(jù)查詢能力對(duì)構(gòu)建的XML文檔庫(kù)進(jìn)行查詢，并利用DOM樹將產(chǎn)生的抽取規(guī)則存入規(guī)則庫(kù)中。然后將查詢結(jié)果傳到客戶端，從而完成用戶所需的數(shù)據(jù)的抽取。但是，它不是一個(gè)通用的抽取系統(tǒng)，而是針對(duì)某一領(lǐng)域，還需要制訂有效的抽取規(guī)則，一旦被抽取的源Web頁(yè)面結(jié)構(gòu)發(fā)生變化，抽取工作可能失效。因此對(duì)其進(jìn)行了改進(jìn)，將頁(yè)面分割成多個(gè)語(yǔ)義塊，使塊內(nèi)主題盡可能地相關(guān)于同一主題。對(duì)頁(yè)面進(jìn)行分割以后