數(shù)據(jù)流上多聚集查詢的優(yōu)化技術(shù).pdf

1、目前，數(shù)據(jù)流系統(tǒng)被廣泛應(yīng)用，如網(wǎng)絡(luò)入侵檢測和金融分析。在數(shù)據(jù)流的查詢處理中，聚集查詢是一種常用的查詢類型，滑動窗口是近似查詢常用的技術(shù)。因此，滑動窗口聚集查詢在數(shù)據(jù)流管理系統(tǒng)中具有較高的研究價值。
　　 系統(tǒng)經(jīng)常需要在同一個數(shù)據(jù)源上處理多個聚集查詢，而單獨地執(zhí)行每個查詢可能會導致嚴重的可擴展性問題和性能問題，并且當數(shù)據(jù)流的到達速率超過系統(tǒng)資源的承受能力時，系統(tǒng)會出現(xiàn)性能下降甚至癱瘓的現(xiàn)象。本文提出了數(shù)據(jù)流上多聚集查詢的優(yōu)化技術(shù)，

2、具體工作包含以下幾個方面：
　　 首先，分析了數(shù)據(jù)流系統(tǒng)上多聚集查詢的處理方法。在系統(tǒng)的處理能力下，討論多聚集查詢的共享計算問題，消除系統(tǒng)的計算冗余；在系統(tǒng)超負載時，介紹數(shù)據(jù)流上多聚集查詢的降載策略，分析各種降載策略的適用環(huán)境。
　　 其次，設(shè)計并實現(xiàn)了一種優(yōu)化的窗口聚集算法OPWA。先根據(jù)各時間窗口參數(shù)對聚集查詢進行分組，使得相似查詢可以同步調(diào)度；再采用Paired技術(shù)對數(shù)據(jù)流進行分割。一方面減少了時間切片的數(shù)目，降低

3、了空間的需求；另一方面同步地執(zhí)行相似查詢，減少了系統(tǒng)的計算開銷。
　　 最后，提出了MinWinDrop窗口降載策略，減小了降載窗口的更新周期。數(shù)據(jù)流系統(tǒng)可以將MinWinDrop降載操作符插入到查詢計劃之前，提前丟棄未處理的元組，消除系統(tǒng)不必要的計算開銷。該降載策略不僅保證各聚集查詢部分結(jié)果的精確性，而且實現(xiàn)系統(tǒng)輸出子集的最大化。
　　 本課題的研究能夠有效地解決數(shù)據(jù)流上多聚集查詢的處理問題，提高數(shù)據(jù)流系統(tǒng)的執(zhí)行效率，