Deep web數(shù)據(jù)源的自動(dòng)識(shí)別與分類研究.pdf

1、DeepWeb深度網(wǎng)絡(luò)資源，又稱作不可見網(wǎng)或隱藏網(wǎng)（譯為InvisibleWeborHiddenWeb），它常常被人稱為谷歌查不到的網(wǎng)絡(luò)信息，這些信息不屬于我們所熟知的那些標(biāo)準(zhǔn)搜索引擎所能夠搜索到的。通常認(rèn)為搜索引擎查不到的信息要占網(wǎng)絡(luò)全部信息的90％。據(jù)BrightPlanet公司技術(shù)白皮書的中描述，DeepWeb資源容量約為SurfaceWeb的500倍，而且包含著更多有價(jià)值的資源。超過一半的DeepWeb內(nèi)容都保存在專業(yè)領(lǐng)域的數(shù)據(jù)

2、庫中。海量的表面信息固然可以通過普通的搜索引擎查詢到，可是還有相當(dāng)大了的信息由于隱藏在深處無法被搜索引擎查到，而且DeepWeb數(shù)據(jù)源同時(shí)又是不斷變化的，絕大部分隱藏的信息必須通過動(dòng)態(tài)請(qǐng)求產(chǎn)生網(wǎng)頁信息，標(biāo)準(zhǔn)的搜索引擎是沒有辦法對(duì)它進(jìn)行查找的。因?yàn)檫@些動(dòng)態(tài)請(qǐng)求產(chǎn)生的網(wǎng)頁信息必須要通過DeepWeb查詢接口來獲取，使得DeepWeb信息獲取變的更加困難，為了有效的獲取DeepWeb信息，我們必須要對(duì)DeepWeb進(jìn)行數(shù)據(jù)自動(dòng)識(shí)別和分類。

3、r>　　 本文通過對(duì)DeepWeb數(shù)據(jù)源的自動(dòng)識(shí)別和分類研究這兩大重點(diǎn)問題展開深入研究。主要的研究?jī)?nèi)容包括:
　　 (1)對(duì)普通網(wǎng)頁表單及DeepWeb網(wǎng)頁的表單特征進(jìn)行分析，經(jīng)過合并、添加、篩選得到的得到本文采用的表單特征提取方案，包含各控件值，控件數(shù)量，包含語義信息的詞條等一系列特征值作為分類屬性。
　　 (2)DeepWeb數(shù)據(jù)集成的關(guān)鍵問題研究，查詢接口的識(shí)別及分類判定。針對(duì)樸素貝葉斯方法的限制，使用粗糙集算法

4、進(jìn)行優(yōu)化約簡(jiǎn)。該方法利用兩次隨機(jī)抽樣建立基于樸素貝葉斯算法的分類器組，利用粗糙集算法的屬性約簡(jiǎn)方法進(jìn)行分類器組的約簡(jiǎn)處理，然后利用優(yōu)化后的分類器組進(jìn)行分類，對(duì)得到的分類結(jié)果進(jìn)行加權(quán)平均，得到最終的分類結(jié)果。實(shí)驗(yàn)結(jié)果顯示，在優(yōu)化后的貝葉斯分類分類器組，對(duì)DeepWeb查詢接口及其分類的查準(zhǔn)率及查全率上均有明顯提高。
　　 (3)DeepWeb數(shù)據(jù)源識(shí)別及分類性能對(duì)比。將數(shù)據(jù)挖掘中的幾種分類方法，如:C4.5決策樹、ID3等以及本文

5、算法進(jìn)行分析對(duì)比，在查全率和查準(zhǔn)率上效果驗(yàn)證了此方法可行。
　　 本文所采取的方法是分析現(xiàn)有的相關(guān)研究，通過對(duì)DeepWeb數(shù)據(jù)源的學(xué)習(xí)和分析，并在目前已有的研究成果的之上，通過改進(jìn)的算法，加以實(shí)驗(yàn)數(shù)據(jù)來驗(yàn)證我們的算法的有效性。從實(shí)驗(yàn)的結(jié)果來看本文的方法還是比較滿意的。實(shí)驗(yàn)中難免存在不足之處，在今后的研究中我們將進(jìn)一步的對(duì)相關(guān)問題和算法進(jìn)行修正。DeepWeb的研究如今還有一段很長(zhǎng)的路要走，存在的難題需要廣大的研究者們逐個(gè)的去解