基于網(wǎng)格的Web信息抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、Web文檔往往用各種復(fù)雜的HTML標(biāo)記來(lái)包裝內(nèi)部數(shù)據(jù)，但這種方式給應(yīng)用系統(tǒng)直接使用Web文檔中的數(shù)據(jù)帶來(lái)了困難。Web信息抽取是處理海量數(shù)據(jù)且需要各種復(fù)雜算法支持的一種技術(shù)，因此它在一般平臺(tái)上的工作效率不是很好。網(wǎng)格能為復(fù)雜應(yīng)用提供分布式并行環(huán)境，它面向服務(wù)的開放式結(jié)構(gòu)能提高應(yīng)用的靈活性和代碼重用率。因此，結(jié)合網(wǎng)格技術(shù)來(lái)開發(fā)一個(gè)自動(dòng)的Web信息抽取應(yīng)用有著非常重要的意義。 本文首先介紹了Web信息抽取的有關(guān)技術(shù)，分析了自動(dòng)抽取系

2、統(tǒng)RoadRunner的算法和優(yōu)缺點(diǎn)；接著，介紹了網(wǎng)格的相關(guān)知識(shí)，重點(diǎn)研究網(wǎng)格應(yīng)用的特性。在這之后，本文重點(diǎn)解決兩個(gè)問(wèn)題：如何自動(dòng)抽取Web信息和如何在網(wǎng)格中實(shí)現(xiàn)。在第一階段，本文通過(guò)有效的啟發(fā)規(guī)則解決自動(dòng)獲取一批相似頁(yè)面的問(wèn)題，提出并實(shí)現(xiàn)了二級(jí)頁(yè)面噪聲處理的方案和算法，完成了自動(dòng)歸納抽取規(guī)則的算法，并最終實(shí)現(xiàn)了一個(gè)完整的面向數(shù)據(jù)密集型頁(yè)面的Web信息抽取系統(tǒng)。在第二階段，本文首先分析了Web抽取應(yīng)用的可并行化部分，給出了相應(yīng)的網(wǎng)格應(yīng)用