基于DOM樹的Deep Web實(shí)體抽取的研究與實(shí)現(xiàn).pdf

1、隨著Internet的廣泛應(yīng)用，Web上的資源信息呈爆炸性增長(zhǎng)。其中，Deep Web是指那些存儲(chǔ)在Web數(shù)據(jù)庫(kù)里、不能通過超鏈接訪問而需要通過動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)訪問的資源集合。一些統(tǒng)計(jì)數(shù)據(jù)表明：Deep Web蘊(yùn)含的信息量、對(duì)Deep Web的訪問量、增長(zhǎng)速度等都遠(yuǎn)遠(yuǎn)高于Surface Web。因此，隨著Web數(shù)據(jù)庫(kù)的不斷增長(zhǎng)，通過對(duì)Deep Web的訪問逐漸成為獲取信息的主要手段。Deep Web返回的查詢結(jié)果主要是通過HTML頁(yè)面來展現(xiàn)

2、的，其內(nèi)容多樣、形式各異，這就造成了結(jié)果數(shù)據(jù)的異構(gòu)性和缺乏結(jié)構(gòu)性，使得自動(dòng)從中獲取有價(jià)值的信息變成一件具有挑戰(zhàn)性的任務(wù)。因此，如何有效抽取Deep Web中的數(shù)據(jù)資源成為一個(gè)值得研究的問題，其目標(biāo)是將查詢獲取的結(jié)果響應(yīng)頁(yè)面中所包含的實(shí)體信息正確而有效地抽取出來，并以結(jié)構(gòu)化的形式進(jìn)行表示。
　　 本文通過分析Deep Web結(jié)果頁(yè)面的特點(diǎn)，提出了一種基于DOM樹的Deep Web實(shí)體抽取機(jī)制（D-EEM，DOM-tree base

3、d Deep Web Entity Extraction Mechanism），能夠有效解決Deep Web環(huán)境中的實(shí)體抽取問題。論文的主要內(nèi)容包括如下幾個(gè)方面：
　　 (1)結(jié)合手動(dòng)實(shí)體抽取和自動(dòng)實(shí)體抽取的應(yīng)用需求，提出了D-EEM的層次模型，自底向上將D-EEM劃分為信息采集層、實(shí)體抽取層和外部表示層，能夠有效解決Deep Web實(shí)體抽取中區(qū)域定位、規(guī)則生成及語(yǔ)義標(biāo)注等問題。
　　 (2)提出了基于DOM樹的自動(dòng)實(shí)體

4、抽取策略，利用DOM樹中的文本內(nèi)容和層次結(jié)構(gòu)來確定數(shù)據(jù)區(qū)域和實(shí)體區(qū)域，提高了實(shí)體抽取的準(zhǔn)確性；另外，提出了一種基于上下文距離和共現(xiàn)次數(shù)的語(yǔ)義標(biāo)注方法，從而建立抽取結(jié)果與全局模式的映射關(guān)系，有效地將來自不同數(shù)據(jù)源的抽取結(jié)果進(jìn)行合成。
　　 (3)設(shè)計(jì)并實(shí)現(xiàn)了D-EEM的原型系統(tǒng)，一方面為用戶提供了一個(gè)交互式的編輯環(huán)境，友好的幫助用戶完成抽取模板的手動(dòng)設(shè)置；另一方面實(shí)現(xiàn)了基于DOM樹的自動(dòng)實(shí)體抽取策略，經(jīng)過網(wǎng)頁(yè)預(yù)處理、數(shù)據(jù)區(qū)域定位、