WEB數(shù)據(jù)自動(dòng)抽取技術(shù)及其應(yīng)用研究.pdf_第1頁
已閱讀1頁,還剩93頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、隨著Internet的飛速發(fā)展,網(wǎng)絡(luò)中包含著海量可以被利用的數(shù)據(jù)。其中由Web數(shù)據(jù)庫返回并根據(jù)預(yù)定義模板展現(xiàn)在用戶響應(yīng)頁面中的數(shù)據(jù)記錄,是一類非常重要的Web數(shù)據(jù)類型。這類記錄展示的產(chǎn)品或服務(wù)信息等構(gòu)成了頁面的主體內(nèi)容,包含著大量有價(jià)值的信息。因此研究如何針對(duì)包含這類數(shù)據(jù)記錄的Web頁面進(jìn)行數(shù)據(jù)抽取,具有重大的現(xiàn)實(shí)意義和實(shí)用價(jià)值。
  針對(duì)這類可稱為多記錄數(shù)據(jù)密集型的頁面,本文提出了一種基于視覺信息的主數(shù)據(jù)區(qū)域識(shí)別方法,能夠?qū)撁?/p>

2、中數(shù)據(jù)記錄所在的主要數(shù)據(jù)區(qū)域進(jìn)行有效識(shí)別,得到其對(duì)應(yīng)的標(biāo)簽子樹。該方法將首先基于標(biāo)簽的視覺位置信息,進(jìn)行頁面的拓展標(biāo)簽樹的構(gòu)建,并對(duì)其中無關(guān)的頁面標(biāo)簽節(jié)點(diǎn)進(jìn)行清理,然后將基于頁面的視覺特征完成對(duì)主數(shù)據(jù)區(qū)域的識(shí)別,得到剪枝后的標(biāo)簽子樹。針對(duì)于頁面中的待抽取數(shù)據(jù)記錄內(nèi)容,算法通過進(jìn)行無關(guān)節(jié)點(diǎn)及噪聲塊的清除,縮小標(biāo)簽樹的規(guī)模,將減少后續(xù)抽取過程的計(jì)算量,有效提高抽取效率。
  此外,本文還設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于標(biāo)簽樹的Web數(shù)據(jù)自動(dòng)抽取系

3、統(tǒng)。該系統(tǒng)能夠針對(duì)多記錄數(shù)據(jù)密集型頁面中的半結(jié)構(gòu)化數(shù)據(jù)記錄進(jìn)行自動(dòng)的數(shù)據(jù)抽取,輸出結(jié)構(gòu)化的數(shù)據(jù)表單。該抽取系統(tǒng)的核心抽取過程主要由樹匹配計(jì)算、數(shù)據(jù)記錄識(shí)別以及數(shù)據(jù)項(xiàng)抽取三個(gè)功能模塊組成。系統(tǒng)根據(jù)上述主數(shù)據(jù)區(qū)域識(shí)別方法生成的視覺信息拓展標(biāo)簽樹,將基于樹的匹配計(jì)算,依次進(jìn)行數(shù)據(jù)區(qū)域判定、數(shù)據(jù)記錄識(shí)別以及數(shù)據(jù)項(xiàng)的抽取對(duì)齊,逐層遞進(jìn)的縮小目標(biāo)區(qū)域的大小,完成對(duì)數(shù)據(jù)的自動(dòng)抽取。
  系統(tǒng)抽取測試結(jié)果表明,該系統(tǒng)能夠有效地針對(duì)多記錄數(shù)據(jù)密集型

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論