遺傳算法在Web數(shù)據(jù)同步抽取中的分析應(yīng)用.pdf

1、隨著在線結(jié)構(gòu)化數(shù)據(jù)庫(kù)的出現(xiàn)，與日俱增的要求大規(guī)模的信息集成，對(duì)于不同的領(lǐng)域，網(wǎng)絡(luò)上存在著大量的并且不斷更新的數(shù)據(jù)資源。那么，要有效地，系統(tǒng)地訪問(wèn)這些數(shù)據(jù)就需要處理龐大的數(shù)據(jù)資源，顯然，大規(guī)模的信息綜合需要更加自動(dòng)化和精確的托管。對(duì)于每一個(gè)新增數(shù)據(jù)源，都將自動(dòng)產(chǎn)生一個(gè)網(wǎng)絡(luò)數(shù)據(jù)包裝器對(duì)其進(jìn)行處理。而現(xiàn)有的技術(shù)并不完善。本文將提出一種方法來(lái)改進(jìn)現(xiàn)有的網(wǎng)絡(luò)數(shù)據(jù)提取算法． 互聯(lián)網(wǎng)的發(fā)展到今天，Deep Web提供了大量的動(dòng)態(tài)信息。在對(duì)這些

2、數(shù)據(jù)的抽取和進(jìn)行上下文相關(guān)的數(shù)據(jù)包裝的過(guò)程中，遇到了諸多的問(wèn)題。我們這里關(guān)注三個(gè)問(wèn)題： 1．大量的同等數(shù)據(jù)資源如何被應(yīng)用于提高一個(gè)web數(shù)據(jù)包裝器的準(zhǔn)確率。 2．多個(gè)平行的網(wǎng)絡(luò)數(shù)據(jù)包裝器怎樣被應(yīng)用于加強(qiáng)web數(shù)據(jù)包裝的準(zhǔn)確率。 3．對(duì)現(xiàn)有的同步web數(shù)據(jù)抽取方法進(jìn)行怎樣的改進(jìn)以加強(qiáng)web數(shù)據(jù)包裝的準(zhǔn)確率和算法效率。 這些問(wèn)題看起來(lái)沒(méi)有什么聯(lián)系，實(shí)際上根源都在于web數(shù)據(jù)的包裝缺乏上下文相關(guān)性。目前的包裝器

3、只針對(duì)其中的一個(gè)數(shù)據(jù)資源進(jìn)行包裝，在對(duì)于內(nèi)容的處理上缺乏多個(gè)同等資源的一致性和域規(guī)則的一致性。 本文將提出一種基于遺傳算法的web數(shù)據(jù)同步抽取算法，來(lái)產(chǎn)生一個(gè)上下文相關(guān)的Web數(shù)據(jù)包裝器，能夠利用多個(gè)同等數(shù)據(jù)資源和域規(guī)則找到更加精確的匹配。它能夠利用上下文相關(guān)性對(duì)同等數(shù)據(jù)資源的待處理內(nèi)容找到協(xié)同一致的匹配。我們將利用遺傳算法來(lái)制造一個(gè)螺旋解碼機(jī)制，建立各個(gè)平行包裝器之間的聯(lián)系。 本文的主要工作在于： 1．對(duì)Dee

4、p Web在線結(jié)構(gòu)化數(shù)據(jù)庫(kù)的信息抽取以及Web數(shù)據(jù)包裝器進(jìn)行深入的研究，并提出一種基于上下文相關(guān)性的包裝。 2．應(yīng)用遺傳算法給出一種Web數(shù)據(jù)同步抽取的算法來(lái)實(shí)現(xiàn)螺旋解碼的上下文相關(guān)性包裝。 3．算法利用多個(gè)同等數(shù)據(jù)源和平行數(shù)據(jù)包裝器以及域規(guī)則實(shí)現(xiàn)了上下文相關(guān)性數(shù)據(jù)包裝，提高了包裝器的抽數(shù)據(jù)取精確度。 本文工作的意義是應(yīng)用遺傳算法給出了實(shí)現(xiàn)上下文相關(guān)性Web數(shù)據(jù)包裝的一套完整方案，具體體現(xiàn)在以下方面：利用大量的同