基于多粒度多層次滑動窗口模型的數(shù)據(jù)流聚集查詢技術(shù)研究.pdf

1、隨著信息采集手段的快速發(fā)展，很多應(yīng)用領(lǐng)域的數(shù)據(jù)呈現(xiàn)出“連續(xù)數(shù)據(jù)流”的形式而不是傳統(tǒng)的靜態(tài)存儲結(jié)構(gòu)形式。這些應(yīng)用領(lǐng)域包括交通監(jiān)控系統(tǒng)、傳感器網(wǎng)絡(luò)數(shù)據(jù)管理、金融證券信息分析等等。數(shù)據(jù)流具有大容量、不可預(yù)測和突發(fā)性到達等特點，給傳統(tǒng)的數(shù)據(jù)管理手段提出了挑戰(zhàn)性的問題。數(shù)據(jù)流處理固有的兩個基本特點是近似性和適應(yīng)性，在很多實際應(yīng)用中，用戶并不需要得到完全精確的結(jié)果，而僅需要一個近似值，因此，實時給出近似查詢結(jié)果是數(shù)據(jù)流處理的主要目標(biāo)，而數(shù)據(jù)流處理的

2、適應(yīng)性是影響近似性的關(guān)鍵因素。 本文在詳細總結(jié)數(shù)據(jù)流管理體系中的一系列問題的基礎(chǔ)之上，對其中的部分關(guān)鍵技術(shù)進行了研究和探討，其中包括滑動窗口處理模型、數(shù)據(jù)流概要方法以及數(shù)據(jù)流聚集計算的數(shù)據(jù)結(jié)構(gòu)等。論文的主要工作和創(chuàng)新體現(xiàn)在以下三點： (1)深入研究了滑動窗口模型在數(shù)據(jù)流處理中的作用和特點，并根據(jù)數(shù)據(jù)流應(yīng)用中的特征，將多層次劃分思想和多粒度描述引入到滑動窗口模型中來，提出了一種多層次窗口模型的建模方法，并對其展開了探討。

3、 (2)在多層次滑動窗口模型的基礎(chǔ)上，設(shè)計了aMG-Tree(Multi-Granularity andmulti-level aggregate Tree，多粒度多層次聚集樹)結(jié)構(gòu)和適合aMG-Tree的不同層次窗口過期數(shù)據(jù)的幾何快照存儲結(jié)構(gòu)，使得不僅能支持數(shù)據(jù)流的簡單聚集查詢，而且還能支持涉及過期數(shù)據(jù)的數(shù)據(jù)流分組聚集和基于條件的復(fù)雜聚集查詢。 (3)給出了上述兩種結(jié)構(gòu)的數(shù)據(jù)流在線聚集與近似查詢算法，能有效地解決有限時空