基于表單的深度搜索技術(shù)研究.pdf

1、目前大多數(shù)搜索引擎僅僅搜索超鏈接可以搜索到的靜態(tài)網(wǎng)頁(yè),而許多的重要數(shù)據(jù)存放在web的后臺(tái)數(shù)據(jù)庫(kù)中,它們需要通過(guò)表單查詢的方式獲取,相應(yīng)的網(wǎng)頁(yè)稱為隱藏網(wǎng)頁(yè)。為了幫助用戶獲取更多的信息,本文討論隱藏頁(yè)面的搜索方法,給出了系統(tǒng)架構(gòu),并討論其中的關(guān)鍵技術(shù)。 本文首先分析了當(dāng)前普遍采用的互聯(lián)網(wǎng)信息搜索引擎的優(yōu)缺點(diǎn),比較通用搜索與深度搜索的不同,提出了適合深度搜索的爬行策略,即利用鏈接分類、文本分類進(jìn)行聚焦爬行。并通過(guò)設(shè)置同一站點(diǎn)內(nèi)停止搜索

2、標(biāo)準(zhǔn)條件,對(duì)規(guī)則網(wǎng)站設(shè)置路徑學(xué)習(xí),盡量找到含有表單的網(wǎng)頁(yè)。 本文通過(guò)模擬用戶訪問(wèn)深度網(wǎng)頁(yè)的過(guò)程,開(kāi)展了如下工作：首先,通過(guò)調(diào)查研究,提出適合能快速有效地下載含有表單的網(wǎng)頁(yè)的爬行策略；然后處理網(wǎng)頁(yè),抽取出表單信息,將網(wǎng)頁(yè)表單信息轉(zhuǎn)換成程序可以理解的形式,即對(duì)表單進(jìn)行建模。其次,利用啟發(fā)式規(guī)則和表單分類方法提取有用的表單。再次,對(duì)表單標(biāo)簽和語(yǔ)義詞進(jìn)行提取,自動(dòng)填寫提交,找到需要網(wǎng)頁(yè)。 本文充分利用表單的結(jié)構(gòu)和文本信息,其中的