云計(jì)算環(huán)境下的并行Skyline算法及其應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)飛速發(fā)展，數(shù)據(jù)呈爆炸式增長(zhǎng)，海量數(shù)據(jù)的處理需求越來(lái)越大。然而，由于數(shù)據(jù)量過(guò)大，使得海量數(shù)據(jù)處理對(duì)軟硬件要求高、系統(tǒng)資源占用多，因此海量數(shù)據(jù)的處理技術(shù)面臨著巨大挑戰(zhàn)。目前，以MapReduce為代表的云計(jì)算技術(shù)越來(lái)越受到學(xué)術(shù)界和商業(yè)界的關(guān)注，并且在海量數(shù)據(jù)處理上得到了普遍的應(yīng)用和推廣。Skyline算法作為一種有效的海量數(shù)據(jù)處理算法，可以幫助人們從數(shù)據(jù)中提取最感興趣或最關(guān)心的信息，有效地剪枝掉無(wú)用數(shù)據(jù)，避免數(shù)據(jù)分析時(shí)的干擾。本文

2、以云計(jì)算技術(shù)為依托，研究海量數(shù)據(jù)的Skyline算法，重點(diǎn)研究海量數(shù)據(jù)的靜態(tài)Skyline算法、動(dòng)態(tài)Skyline算法和圖像數(shù)據(jù)的度量空間Skyline算法，以及這些算法在MapReduce架構(gòu)下的優(yōu)化和應(yīng)用問(wèn)題。論文完成的主要研究工作如下:
　　針對(duì)海量數(shù)據(jù)靜態(tài)Skyline查詢(xún)時(shí)通信開(kāi)銷(xiāo)大及其計(jì)算量大的問(wèn)題，本文提出了高效的基于用戶喜好的子空間Skyline算法。針對(duì)海量數(shù)據(jù)計(jì)算量和通信開(kāi)銷(xiāo)問(wèn)題，該算法利用了基于網(wǎng)格的剪枝策略

3、來(lái)減少參與運(yùn)算的數(shù)據(jù)點(diǎn)。針對(duì)海量數(shù)據(jù)Skyline計(jì)算返回用戶終端的結(jié)果集龐大、不利于用戶決策，并且用戶終端的存儲(chǔ)及網(wǎng)絡(luò)通信資源有限的問(wèn)題，該算法采用基于用戶需求的SQM-filtering和ε-filtering過(guò)濾方法來(lái)返回Skyline結(jié)果的子集。最后利用MapReduce實(shí)現(xiàn)了基于用戶喜好的子空間Skyline算法，并在不同分布的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果表明這些方法有效提高了子空間Skyline算法在處理海量數(shù)據(jù)時(shí)的效率。

4、
　　針對(duì)海量數(shù)據(jù)動(dòng)態(tài)Skyline查詢(xún)時(shí)，一方面被查詢(xún)對(duì)象的屬性值隨著查詢(xún)對(duì)象的變化而變化，另一方面云計(jì)算環(huán)境的分布式存儲(chǔ)、并行處理情況復(fù)雜，因此動(dòng)態(tài)Skyline算法處理海量數(shù)據(jù)時(shí)存在計(jì)算開(kāi)銷(xiāo)大、實(shí)時(shí)性差等問(wèn)題。針對(duì)這些問(wèn)題，本文提出了一種基于MapReduce的動(dòng)態(tài)Skyline算法，它利用基于網(wǎng)格的粗粒度全局Skyline格來(lái)實(shí)現(xiàn)快速查詢(xún)，通過(guò)全局Skyline格計(jì)算獲得候選結(jié)果集。這樣有效地剪枝掉一些非結(jié)果點(diǎn)，節(jié)省了大量

5、的計(jì)算開(kāi)銷(xiāo)，提高了動(dòng)態(tài)Skyline算法處理海量數(shù)據(jù)的運(yùn)行效率。最后為了驗(yàn)證該算法的效率和實(shí)用性，我們將該方法應(yīng)用到網(wǎng)絡(luò)監(jiān)控流數(shù)據(jù)的異常情況檢測(cè)中。
　　在圖像大數(shù)據(jù)的度量空間Skyline查詢(xún)中，針對(duì)基于語(yǔ)義度量空間選擇帶來(lái)的計(jì)算復(fù)雜度高等問(wèn)題，本文提出了一種基于圖像多特征融合的度量空間Skyline算法，其核心是采用多特征融合圖像檢索方法(SKFF)。它在度量空間上采用圖像的底層特征來(lái)描述圖像，基于詞袋模型生成相似度向量，并將