不確定數(shù)據(jù)集上的Skyline查詢處理算法研究.pdf

1、數(shù)據(jù)本身存在不確定性、采集的隨機性及不精確性,如在地質(zhì)測量、天文觀測、氣象、傳感網(wǎng)絡(luò)、移動對象搜索和數(shù)據(jù)集成等實際應(yīng)用中,由于復(fù)雜的外界因素的影響使得采集到的數(shù)據(jù)不確定、不完整和不精確。對這些不確定的海量數(shù)據(jù)集進行挖掘時,常規(guī)的方法是通過數(shù)據(jù)清洗、集成等預(yù)處理后再進行挖掘。然而,經(jīng)過加工后的數(shù)據(jù)通常丟失了大量的原始信息,從而導(dǎo)致挖掘效果難于滿足需求。近年來,出現(xiàn)了一種新型數(shù)據(jù)集-不確定數(shù)據(jù)集,即將源數(shù)據(jù)中的不確定性用概率(或置信度)表達

2、。不確定數(shù)據(jù)集上的數(shù)據(jù)挖掘也隨之成為近年來的研究熱點。其中不確定數(shù)據(jù)集上的Skyline挖掘是一個重要的研究領(lǐng)域。盡管Skyline挖掘獲得了廣泛的研究,但由于現(xiàn)有的方法沒有將數(shù)據(jù)集的不確定性考慮到計算模型中,因而無法實現(xiàn)現(xiàn)在該類數(shù)據(jù)集上進行Skylin挖掘。經(jīng)過廣泛細致的研究工作后,本文提出了有效的方法來解決該類問題。
　　 通過對現(xiàn)有的不確定數(shù)據(jù)集上Skyline及Top-k查詢算法的研究,結(jié)合了數(shù)據(jù)流的特性,本文提出了全新

3、的用于不確定數(shù)據(jù)集上的一系列Skyline查詢維護算法,并基于真實數(shù)據(jù)及合成數(shù)據(jù)進行了大量的實驗驗證,試驗結(jié)果表明本文設(shè)計的算法能高效且有效地在不確定數(shù)據(jù)集上進行Skyline挖掘。本文的主要研究成果如下:
　　 1)針對稀疏實例分布數(shù)據(jù)集,提出了基于多維網(wǎng)格索引的GIKS(Gridindexedk-Skyline)算法。該算法的核心思想是利用網(wǎng)格索引進行自底向上的最優(yōu)化訪問,即把數(shù)據(jù)空間分割為多個易于處理的小區(qū)域,利用網(wǎng)格的優(yōu)

4、勢分而治之,從而快速地響應(yīng)用戶發(fā)出的查詢請求。GIKS算法還使用了IDM(InstancesDistributionMap)檢索結(jié)構(gòu)在空間遍歷過程中實現(xiàn)信息共享,大幅降低時間復(fù)雜度。
　　 2)針對密集實例分布數(shù)據(jù)集,提出了基于分層樹索引的BRKS方法。當在實例密度很大的數(shù)據(jù)集上進行k-Skyline查詢時,本文又提出了一種自頂向下的BRKS(BoundingandRefiningk-Skyline)方法,它以均值評估為基礎(chǔ),利

5、用分層越進行限界求精,從而漸進地計算對象的Skyline概率。
　　 3)將不確定數(shù)據(jù)集擴展到數(shù)據(jù)流上,提出了概率數(shù)據(jù)流的Skyline查詢維護方法。對概率數(shù)據(jù)流上的Skyline查詢問題進行了深入研究,并基于“可能世界”語義對概率數(shù)據(jù)流上的Skyline查詢計算問題首次進行了建模。
　　 4)針對概率數(shù)據(jù)流上的Skyline查詢處理,本文設(shè)計了一種高效的查詢處理算法SKY-PDS(SkylineoverProbabil

6、isticDataStream)。與確定型數(shù)據(jù)流上的Skyline查詢處理不同,SKY-PDS算法主要涉及到兩個基本問題:①如何盡早地淘汰那些不再有機會加入Skyline結(jié)果集的對象,以減少內(nèi)存開銷?②如何高效地判定對象的狀態(tài)(是否作為Skyline對象輸出),即如何減少對“支配關(guān)系”的檢測次數(shù)以便降低CPU負荷?針對以上兩個基本問題,本文先后提出了概率定界、逐步求精等優(yōu)化措施對算法從空間與時間上進行了系統(tǒng)地優(yōu)化。縝密的理論分析和詳盡的