Deep Web數(shù)據(jù)源發(fā)現(xiàn)和分類研究.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展使Web信息量不斷膨脹，網(wǎng)絡(luò)正在迅速深化。由于大量的信息都隱藏在查詢接口之后，無(wú)法利用傳統(tǒng)的搜索引擎技術(shù)獲取，這類信息被稱為DeepWeb。高速增長(zhǎng)的DeepWeb信息已成為人們進(jìn)行信息獲取的重要來(lái)源，但由于DeepWeb信息的異構(gòu)性和動(dòng)態(tài)性，使用起來(lái)非常不方便，因此，面向Deep Web的數(shù)據(jù)集成系統(tǒng)便應(yīng)運(yùn)而生。
　　 本文對(duì)Deep Web數(shù)據(jù)源發(fā)現(xiàn)和分類所涉及到的相關(guān)技術(shù)進(jìn)行了深入研究，并提出了相關(guān)模型和機(jī)

2、制，有效的解決了傳統(tǒng)方法的局限性。主要研究工作包括：
　　 1.討論了一種利用搜索引擎來(lái)發(fā)現(xiàn)數(shù)據(jù)源的方法。為了能夠向搜索引擎提交高質(zhì)量的關(guān)鍵詞，將本體作為等級(jí)化組織詞匯的架構(gòu)引入到初始詞構(gòu)建過程中。對(duì)所有詞匯按照在當(dāng)前領(lǐng)域中出現(xiàn)頻率高低進(jìn)行分類，并根據(jù)搜索引擎返回接口集元素?cái)?shù)量進(jìn)行二次分類，確保關(guān)鍵詞是對(duì)發(fā)現(xiàn)數(shù)據(jù)源查詢接口貢獻(xiàn)較大的詞匯。
　　 2.提出了一種利用模糊集和概率模型分類數(shù)據(jù)源的方法。對(duì)各領(lǐng)域中的詞匯按照其對(duì)

3、當(dāng)前領(lǐng)域的貢獻(xiàn)程度分為特征詞和常用詞。為了能夠在網(wǎng)頁(yè)文本中找出更加精確的詞匯，將模糊集作為歸一化詞匯的工具引入到特征詞集和常用詞集精簡(jiǎn)的過程中，并且將歸一化后的詞匯在各領(lǐng)域上建立概率模型，通過計(jì)算數(shù)據(jù)源表單向量與各領(lǐng)域向量之間距離來(lái)分類。
　　 3.研究了一種網(wǎng)絡(luò)表單分類器改進(jìn)機(jī)制，該機(jī)制主要將pre-query和post-query技術(shù)結(jié)合來(lái)使各種分類錯(cuò)誤的表單進(jìn)行二次分類，使這些表單能重新分類到正確的領(lǐng)域中。在分類前利用各領(lǐng)