基于DOM的Web信息自動(dòng)抽取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為各種應(yīng)用與研究的重要數(shù)據(jù)源之一，為信息檢索、數(shù)據(jù)挖掘等領(lǐng)域提供高質(zhì)量的數(shù)據(jù)。Web中一類重要的數(shù)據(jù)保存在可搜索網(wǎng)絡(luò)數(shù)據(jù)庫中，只有通過提交查詢請(qǐng)求，網(wǎng)站背后的數(shù)據(jù)才能按照一定的模板被擴(kuò)展在網(wǎng)頁上，如電子商務(wù)網(wǎng)站的商品信息網(wǎng)頁，這類動(dòng)態(tài)頁面稱為DeepWeb。Deep Web數(shù)據(jù)量大、發(fā)展迅猛、領(lǐng)域覆蓋全面、主題性強(qiáng)、信息結(jié)構(gòu)化程度高，具有很高的應(yīng)用價(jià)值。因此，如何從Deep Web中有效地抽取信息，幫助人們

2、快速、準(zhǔn)確、有效的利用這些海量數(shù)據(jù)，具有重要的現(xiàn)實(shí)意義和廣闊的應(yīng)用前景。
　　 Internet上的各個(gè)網(wǎng)站的信息相互獨(dú)立，Deep Web數(shù)據(jù)收集起來十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微。通過手工書寫規(guī)則完成信息抽取的方式雖然準(zhǔn)確率高，技術(shù)門檻低，但是由于信息源的多樣化和潛在的改版風(fēng)險(xiǎn)，手工方式無法滿足人們對(duì)信息獲取的需求。結(jié)合上述背景，可以發(fā)現(xiàn)Web信息自動(dòng)抽取技術(shù)的研究與實(shí)現(xiàn)是一個(gè)非常迫切需要解決的問題

3、。針對(duì)這一問題，本文在Web信息自動(dòng)抽取技術(shù)方面，包括查詢接口判定的機(jī)器學(xué)習(xí)方法、Web數(shù)據(jù)自動(dòng)抽取、數(shù)據(jù)項(xiàng)對(duì)齊等方面，進(jìn)行了深入而系統(tǒng)的研究，同時(shí)開發(fā)了Web信息自動(dòng)抽取系統(tǒng)。本文具體的研究工作和研究成果如下：
　　 (1)采用基于決策樹的查詢接口自動(dòng)判定方法。自動(dòng)提取網(wǎng)頁標(biāo)簽的特征，形成特征集合，根據(jù)幾種分類算法的準(zhǔn)確率的比較和分析，選擇使用決策樹分類器對(duì)網(wǎng)頁標(biāo)簽進(jìn)行分類。
　　 (2)在基于DOM相似度匹配的Web

4、數(shù)據(jù)抽取算法的基礎(chǔ)上，提出針對(duì)抽取結(jié)果的過濾算法，提高抽取結(jié)果的準(zhǔn)確率。首先通過DOM相似度匹配算法抽取列表頁面，但是由于這種算法僅僅挖掘網(wǎng)頁的重復(fù)結(jié)構(gòu)，導(dǎo)致抽取的準(zhǔn)確率不高。在這個(gè)基礎(chǔ)上，提出基于熵的過濾算法過濾抽取結(jié)果，并通過k-means聚類算法判斷噪音的熵值。
　　 (3)在基于部分樹對(duì)齊的數(shù)據(jù)項(xiàng)對(duì)齊算法的基礎(chǔ)上，提出有效的對(duì)齊規(guī)則，提高數(shù)據(jù)項(xiàng)對(duì)齊的準(zhǔn)確率。
　　 (4)在以上研究?jī)?nèi)容的基礎(chǔ)上，設(shè)計(jì)開發(fā)了Web信

5、息自動(dòng)抽取系統(tǒng)，系統(tǒng)實(shí)現(xiàn)功能包括：1)給定多個(gè)數(shù)據(jù)源的情況下，自動(dòng)判定查詢接口，并能自動(dòng)填充并提交查詢請(qǐng)求。2)對(duì)查詢請(qǐng)求返回的列表頁面實(shí)現(xiàn)自動(dòng)抽取，并對(duì)結(jié)果進(jìn)行過濾，提高了抽取的準(zhǔn)確率。3)將從列表頁面中抽取的數(shù)據(jù)記錄的數(shù)據(jù)項(xiàng)對(duì)齊，并保存。4)在存在分頁導(dǎo)航的情況下，實(shí)現(xiàn)分頁導(dǎo)航的自動(dòng)連續(xù)抽取并將抽取結(jié)果保存。
　　 論文創(chuàng)新點(diǎn)如下：(1)采用基于決策樹的查詢接口自動(dòng)判定方法，使用決策樹分類模型自動(dòng)判定查詢接口，達(dá)到較高的準(zhǔn)確