Deep Web下不確定數(shù)據(jù)處理的研究.pdf

1、隨著Web相關(guān)技術(shù)的日益成熟和Deep Web所蘊(yùn)含信息量的快速增長，通過對Web數(shù)據(jù)庫的訪問逐漸成為獲取信息的主要手段，對Deep Web的研究也越來越受到人們的關(guān)注。Deep Web蘊(yùn)藏了更加豐富，更加“專業(yè)”(專注于某一領(lǐng)域)的信息。為了幫助人們快速、準(zhǔn)確地利用Deep Web中的海量信息，數(shù)據(jù)集成成為Deep Web研究領(lǐng)域的一個重要方向。
　　 在Deep Web數(shù)據(jù)集成過程中，數(shù)據(jù)級、映射級、查詢級都會產(chǎn)生不確定數(shù)據(jù)

2、。首先，由于系統(tǒng)處理的數(shù)據(jù)多種多樣，有些數(shù)據(jù)本身就具有不確定性，并且從文本或半結(jié)構(gòu)化的數(shù)據(jù)源中抽取信息等技術(shù)都會產(chǎn)生不確定數(shù)據(jù)；其次，當(dāng)數(shù)據(jù)源與中介模式進(jìn)行映射時，也很有可能產(chǎn)生不確定性的映射關(guān)系；最后，用戶查詢的關(guān)鍵字和結(jié)構(gòu)化查詢內(nèi)容之間對應(yīng)關(guān)系也同樣不確定。
　　 面對海量的不確定數(shù)據(jù)，為了滿足用戶得到感興趣的信息的要求，本文提出了在Deep Web下不確定數(shù)據(jù)的處理模型。即首先分析不確定數(shù)據(jù)的不同來源，對相似度計算方法分類

3、，選擇合理的匹配相似度算法或語義相似度算法來得到屬性值對應(yīng)的概率值。再利用數(shù)據(jù)挖掘相關(guān)知識來獲得用戶感興趣的信息。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘一個重要的研究方向，目前大多數(shù)的算法集中于提高挖掘包含確定數(shù)據(jù)的事務(wù)頻繁集效率。
　　 本文改進(jìn)經(jīng)典的Apriori和FP-growth數(shù)據(jù)挖掘算法，得到UD-Apriori算法和UD-FP-growth算法進(jìn)行不確定數(shù)據(jù)的處理。其中，UD-Apriori算法是使用一種稱作逐層搜索的迭代方法，k

4、-項(xiàng)集用于探索(k+1)-項(xiàng)集。同時利用Apriori性質(zhì)的反單調(diào)性，壓縮運(yùn)算的時間和空間。UD-FP-growth算法繼承了FP-growth算法，采用分而治之的策略。該算法基本思想是將整個數(shù)據(jù)庫壓縮表示成樹結(jié)構(gòu)UD-FP-tree，并將頻繁模式挖掘過程轉(zhuǎn)化為遞歸產(chǎn)生條件子樹的過程。
　　 UD-Apriori算法和UD-FP-growth算法能高效挖掘不確定數(shù)據(jù)頻繁集，發(fā)現(xiàn)不確定數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，為數(shù)據(jù)庫中缺失的信息提供參