深網(wǎng)查詢接口判定技術(shù)的研究.pdf

1、深網(wǎng)是相對(duì)于表層網(wǎng)而言的，隨著互聯(lián)網(wǎng)信息的不斷擴(kuò)充和加深，越來越多的信息資源通過動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)與數(shù)據(jù)庫(kù)技術(shù)相結(jié)合的方式提供給人們。但是，傳統(tǒng)的搜索引擎受技術(shù)等各種限制，無法獲取在線數(shù)據(jù)庫(kù)中的信息，導(dǎo)致大量高價(jià)值和權(quán)威信息變成“不可見”的深網(wǎng)信息。由于查詢接口是進(jìn)入深網(wǎng)后臺(tái)數(shù)據(jù)庫(kù)的唯一入口，用戶只能通過向查詢接口提交查詢來獲取深網(wǎng)信息，所以對(duì)查詢接口的正確判斷和識(shí)別將是獲取深網(wǎng)信息的關(guān)鍵所在。 圍繞著深網(wǎng)查詢接口的識(shí)別和判斷，本文做

2、了以下主要研究工作： 首先，對(duì)深網(wǎng)相關(guān)知識(shí)和國(guó)內(nèi)外研究狀況進(jìn)行學(xué)習(xí)和分析，具體包括深網(wǎng)的概念、價(jià)值，以及深網(wǎng)信息的搜索方法等，并提出了本文的研究問題和方向； 其次，搜集不同領(lǐng)域的各種表單，對(duì)其特征進(jìn)行DOM解析和提取，并將提取出來的特征保存到數(shù)據(jù)庫(kù)中； 再次，對(duì)原始數(shù)據(jù)集做預(yù)處理操作，包括去除冗余和噪聲，屬性選擇，格式變換，離散化處理等； 最后，運(yùn)用幾種典型的分類算法對(duì)數(shù)據(jù)集進(jìn)行分類和預(yù)測(cè)，包括決策樹C4