Deep Web分類(lèi)搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著World Wide Web(WWW)的飛速發(fā)展，整個(gè)Web信息已經(jīng)被各種各樣可搜索的在線(xiàn)數(shù)據(jù)庫(kù)所深化。這些信息被隱藏在Web查詢(xún)接口之后，由站點(diǎn)后臺(tái)數(shù)據(jù)庫(kù)動(dòng)態(tài)產(chǎn)生，而傳統(tǒng)搜索引擎受技術(shù)限制無(wú)法對(duì)它們進(jìn)行索引，我們稱(chēng)這類(lèi)信息為Deep Web。 Deep Web信息獲取至今仍然是一個(gè)新興的研究領(lǐng)域，也受到越來(lái)越多研究人員的重視。為了方便用戶(hù)獲取使用某領(lǐng)域的Deep Web信息，本文提出了一個(gè)Deep Web分類(lèi)搜索引擎的系統(tǒng)

2、架構(gòu)，依據(jù)這個(gè)系統(tǒng)架構(gòu)對(duì)Deep Web分類(lèi)搜索引擎中若干關(guān)鍵問(wèn)題進(jìn)行了分析研究，并提出了相關(guān)的算法和模型。本文主要研究的工作包括： (1)對(duì)中國(guó)Deep Web資源的規(guī)模、分布、結(jié)構(gòu)等進(jìn)行了調(diào)查研究。 (2)針對(duì)傳統(tǒng)搜索引擎爬蟲(chóng)程序在Deep Web領(lǐng)域的缺陷，設(shè)計(jì)了一個(gè)面向DeepWeb的聚焦爬蟲(chóng)，并提出了Deep Web查詢(xún)接口的判定方法。 (3)采用一種高效的Web數(shù)據(jù)庫(kù)內(nèi)容獲取算法，對(duì)Web數(shù)據(jù)庫(kù)內(nèi)容進(jìn)

3、行采樣，并對(duì)采樣得到的頁(yè)面進(jìn)行分析，去除了無(wú)關(guān)信息，最終得到Web數(shù)據(jù)庫(kù)的內(nèi)容摘要。 (4)依據(jù)雅虎的分類(lèi)目錄，提出了一種將Deep Web站點(diǎn)接口頁(yè)面與數(shù)據(jù)庫(kù)內(nèi)容摘要相結(jié)合的方法，對(duì)Deep Web資源進(jìn)行分類(lèi)。 本文最后設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)針對(duì)中文的Deep Web分類(lèi)搜索引擎原型系統(tǒng)DeepSearcher，并對(duì)文中提出的算法進(jìn)行了實(shí)驗(yàn)和分析。隨著World Wide Web(WWW)的飛速發(fā)展，整個(gè)Web信息已經(jīng)被各

4、種各樣可搜索的在線(xiàn)數(shù)據(jù)庫(kù)所深化。這些信息被隱藏在Web查詢(xún)接口之后，由站點(diǎn)后臺(tái)數(shù)據(jù)庫(kù)動(dòng)態(tài)產(chǎn)生，而傳統(tǒng)搜索引擎受技術(shù)限制無(wú)法對(duì)它們進(jìn)行索引，我們稱(chēng)這類(lèi)信息為Deep Web。 Deep Web信息獲取至今仍然是一個(gè)新興的研究領(lǐng)域，也受到越來(lái)越多研究人員的重視。為了方便用戶(hù)獲取使用某領(lǐng)域的Deep Web信息，本文提出了一個(gè)Deep Web分類(lèi)搜索引擎的系統(tǒng)架構(gòu)，依據(jù)這個(gè)系統(tǒng)架構(gòu)對(duì)Deep Web分類(lèi)搜索引擎中若干關(guān)鍵問(wèn)題進(jìn)行了分析

5、研究，并提出了相關(guān)的算法和模型。本文主要研究的工作包括： (1)對(duì)中國(guó)Deep Web資源的規(guī)模、分布、結(jié)構(gòu)等進(jìn)行了調(diào)查研究。 (2)針對(duì)傳統(tǒng)搜索引擎爬蟲(chóng)程序在Deep Web領(lǐng)域的缺陷，設(shè)計(jì)了一個(gè)面向DeepWeb的聚焦爬蟲(chóng)，并提出了Deep Web查詢(xún)接口的判定方法。 (3)采用一種高效的Web數(shù)據(jù)庫(kù)內(nèi)容獲取算法，對(duì)Web數(shù)據(jù)庫(kù)內(nèi)容進(jìn)行采樣，并對(duì)采樣得到的頁(yè)面進(jìn)行分析，去除了無(wú)關(guān)信息，最終得到Web數(shù)據(jù)庫(kù)