基于數(shù)據(jù)流的Skyline計算及應(yīng)用研究.pdf

1、近年來,流數(shù)據(jù)挖掘與管理成為學(xué)術(shù)界和工業(yè)界所共同關(guān)注的問題。隨著skyline計算在多標(biāo)準(zhǔn)決策系統(tǒng)、城市導(dǎo)航系統(tǒng)、數(shù)據(jù)挖掘和可視化、智能防御系統(tǒng)、以及地理信息系統(tǒng)等領(lǐng)域的廣泛應(yīng)用,有效地在數(shù)據(jù)流上實現(xiàn)skyline計算成為數(shù)據(jù)挖掘領(lǐng)域的研究熱點。
　　 所謂數(shù)據(jù)流,是指連續(xù)、實時、有序的數(shù)據(jù)項序列。而由于數(shù)據(jù)流的數(shù)據(jù)具有實時、規(guī)模宏大、次序獨立以及只能一次讀取等特點,使得skyline查詢處理算法必須能夠高效地處理數(shù)據(jù)流中到來的

2、每一個對象,并且要有較低的時間復(fù)雜.度。但是,從目前來看,現(xiàn)有的數(shù)據(jù)流上skyline查詢處理算法仍然存在著很多問題,比如大量數(shù)據(jù)計算時對數(shù)據(jù)的利用不合理導(dǎo)致時間空間的浪費；由于對數(shù)據(jù)的去除率不足,使得進(jìn)行skyline計算時部分操作重復(fù)；沒有充分利用算法執(zhí)行期間已經(jīng)產(chǎn)生的skyline集合,導(dǎo)致算法性能較低。針對以上問題,本文研究了一種基于最近鄰過濾的skyline快速查詢算法,盡早地淘汰那些不再有機會加入skyline的對象,以提高

3、算法查詢效率。然后,將skyline計算應(yīng)用到無線傳感器網(wǎng)絡(luò)中,研究了一種基于簇結(jié)構(gòu)的近似skyline查詢算法,在保證近似精度的同時降低網(wǎng)絡(luò)的通信代價。本文的主要工作如下:
　　 (1)對與本文問題相關(guān)的基于數(shù)據(jù)流的skyline計算進(jìn)行剖析,指出數(shù)據(jù)流上的skyline查詢結(jié)果是一個不斷演化的過程,從而蘊含著諸多難點與挑戰(zhàn),分析需要解決的問題,并引出本文所致力的工作。
　　 (2)提出基于最近鄰過濾的skyline快

4、速查詢算法,解決現(xiàn)有算法對數(shù)據(jù)對象去除率不足的問題。通過利用最近鄰過濾的思想,在預(yù)處理模塊采用歐氏距離來定義一個閾值。其中,閾值定義為所有當(dāng)前skyline點與原點距離的最大值。然后根據(jù)支配的定義,從新插入的數(shù)據(jù)對象中,將距離大于閾值的對象提前淘汰,以有效減少資源的消耗,降低時空復(fù)雜度。
　　 (3)設(shè)計一種簇結(jié)構(gòu)來組織無線傳感器網(wǎng)絡(luò)中的傳感器節(jié)點。這種簇結(jié)構(gòu)可以在進(jìn)行skyline查詢時形成一條查詢路徑,查詢結(jié)束后就可以按此路

5、徑反向收集數(shù)據(jù),從而減少網(wǎng)絡(luò)開銷。同時,這種簇結(jié)構(gòu)可以達(dá)到負(fù)載平衡,從而有效地進(jìn)行查詢處理。
　　 (4)針對無線傳感器網(wǎng)絡(luò),提出一種基于簇結(jié)構(gòu)的近似skyline算法。根據(jù)用戶指定的近似度確定一個過濾閾值。簇中每個存儲節(jié)點計算自己的數(shù)據(jù)屬于skyline查詢結(jié)果集的概率,當(dāng)且僅當(dāng)該概率大于此過濾閾值時該節(jié)點才被訪問。由于每個傳感器節(jié)點只計算自己的數(shù)據(jù),無須與其它節(jié)點的數(shù)據(jù)進(jìn)行比較,從而可避免大量的網(wǎng)內(nèi)通信開銷。實驗結(jié)果表明,本