Deep Web數(shù)據(jù)源分類及用戶滿意度評(píng)估研究.pdf

1、深層網(wǎng)(Deep Web)是指Web中不能被傳統(tǒng)搜索引擎索引到的那部分,與普通靜態(tài)網(wǎng)頁相比,Deep Web中蘊(yùn)含的信息量更大、主題更專一、信息質(zhì)量更高、結(jié)構(gòu)化程度也更好。隨著互聯(lián)網(wǎng)的快速發(fā)展,Deep Web數(shù)量急劇增加,成為人們獲取有價(jià)值信息的重要途徑。因此,Deep Web大規(guī)模信息集成的研究具有重要的現(xiàn)實(shí)意義。然而,如此多的Web數(shù)據(jù)源為大規(guī)模的信息集成帶來了嚴(yán)峻的挑戰(zhàn)。
　　Deep Web數(shù)據(jù)源分類和用戶滿意度評(píng)估是D

2、eep Web信息集成研究中的兩個(gè)關(guān)鍵步驟。Deep Web數(shù)據(jù)源分類把整個(gè)Deep Web數(shù)據(jù)源按領(lǐng)域歸類,進(jìn)而能更快速、準(zhǔn)確的定位Deep Web數(shù)據(jù)源,是Deep Web信息集成研究中的首要步驟。用戶滿意度是用戶對(duì)Deep Web信息集成系統(tǒng)的反饋。滿意度評(píng)估的研究不但能檢驗(yàn)Deep Web信息集成的效果,同時(shí)能幫助我們找出Deep Web信息集成前期工作的不足,進(jìn)而對(duì)之改進(jìn)。本文分別研究和探討了這兩方面的問題,并提出相應(yīng)的方法,

3、進(jìn)行了充分的實(shí)驗(yàn)驗(yàn)證。本文主要內(nèi)容如下:
　　介紹了Deep Web信息集成系統(tǒng)框架,詳述Deep Web數(shù)據(jù)源分類和用戶滿意度評(píng)估技術(shù)的發(fā)展及現(xiàn)狀,對(duì)常用的Deep Web數(shù)據(jù)源分類和用戶滿意度評(píng)估算法進(jìn)行了研究,將各個(gè)算法進(jìn)行了分類并加以總結(jié)。
　　如果將傳統(tǒng)的Knn分類算法應(yīng)用于Deep Web數(shù)據(jù)源分類,其時(shí)間開銷較大,相似度計(jì)算方法主要為余弦值計(jì)算法和歐幾里得計(jì)算法。受空間向量模型的啟發(fā),本文把Deep Web數(shù)據(jù)

4、源查詢接口抽象為空間向量。由于每個(gè)數(shù)據(jù)源查詢接口所包含的特征屬性不同,其被映射到向量空間時(shí)就不能直接參與計(jì)算。通過對(duì)空間向量的重新設(shè)計(jì)和表示,本文提出了自己的相似度計(jì)算方式,并在此基礎(chǔ)上形成了VD-KNN Deep Web數(shù)據(jù)源分類算法。為進(jìn)一步降低Deep Web數(shù)據(jù)源分類算法時(shí)間復(fù)雜度,并結(jié)合特征屬性的三個(gè)基本特性,本文建立基于屬性權(quán)重的數(shù)據(jù)模型,并提出相應(yīng)的相似度計(jì)算方法和分類模型(基于屬性權(quán)重的Deep Web數(shù)據(jù)源分類算法,A

5、ttribute Decentralization Algorithm-based Deep Web Sources Classification(AD-DWSC))。
　　站在用戶的角度—讓用戶直接給出搜索引擎的評(píng)估。本文基于日志數(shù)據(jù),通過提取和分析用戶行為特征,提出了自動(dòng)的基于會(huì)話解析的搜索引擎評(píng)估算法—ASP-SEPE(Automatic Session Parsing Algorithm-based Search Engi