基于DOM樹的Deep Web實體抽取的研究與實現(xiàn).pdf

1、隨著Internet的廣泛應(yīng)用，Web上的資源信息呈爆炸性增長。其中，Deep Web是指那些存儲在Web數(shù)據(jù)庫里、不能通過超鏈接訪問而需要通過動態(tài)網(wǎng)頁技術(shù)訪問的資源集合。一些統(tǒng)計數(shù)據(jù)表明：Deep Web蘊(yùn)含的信息量、對Deep Web的訪問量、增長速度等都遠(yuǎn)遠(yuǎn)高于Surface Web。因此，隨著Web數(shù)據(jù)庫的不斷增長，通過對Deep Web的訪問逐漸成為獲取信息的主要手段。Deep Web返回的查詢結(jié)果主要是通過HTML頁面來展現(xiàn)

2、的，其內(nèi)容多樣、形式各異，這就造成了結(jié)果數(shù)據(jù)的異構(gòu)性和缺乏結(jié)構(gòu)性，使得自動從中獲取有價值的信息變成一件具有挑戰(zhàn)性的任務(wù)。因此，如何有效抽取Deep Web中的數(shù)據(jù)資源成為一個值得研究的問題，其目標(biāo)是將查詢獲取的結(jié)果響應(yīng)頁面中所包含的實體信息正確而有效地抽取出來，并以結(jié)構(gòu)化的形式進(jìn)行表示。
　　 本文通過分析Deep Web結(jié)果頁面的特點，提出了一種基于DOM樹的Deep Web實體抽取機(jī)制（D-EEM，DOM-tree base

3、d Deep Web Entity Extraction Mechanism），能夠有效解決Deep Web環(huán)境中的實體抽取問題。論文的主要內(nèi)容包括如下幾個方面：
　　 (1)結(jié)合手動實體抽取和自動實體抽取的應(yīng)用需求，提出了D-EEM的層次模型，自底向上將D-EEM劃分為信息采集層、實體抽取層和外部表示層，能夠有效解決Deep Web實體抽取中區(qū)域定位、規(guī)則生成及語義標(biāo)注等問題。
　　 (2)提出了基于DOM樹的自動實體

4、抽取策略，利用DOM樹中的文本內(nèi)容和層次結(jié)構(gòu)來確定數(shù)據(jù)區(qū)域和實體區(qū)域，提高了實體抽取的準(zhǔn)確性；另外，提出了一種基于上下文距離和共現(xiàn)次數(shù)的語義標(biāo)注方法，從而建立抽取結(jié)果與全局模式的映射關(guān)系，有效地將來自不同數(shù)據(jù)源的抽取結(jié)果進(jìn)行合成。
　　 (3)設(shè)計并實現(xiàn)了D-EEM的原型系統(tǒng)，一方面為用戶提供了一個交互式的編輯環(huán)境，友好的幫助用戶完成抽取模板的手動設(shè)置；另一方面實現(xiàn)了基于DOM樹的自動實體抽取策略，經(jīng)過網(wǎng)頁預(yù)處理、數(shù)據(jù)區(qū)域定位、