基于壓縮與并行技術(shù)的數(shù)據(jù)流處理方法研究.pdf

1、隨著計算機的應(yīng)用領(lǐng)域不斷擴大,數(shù)據(jù)的類型在不斷地發(fā)生著變化,需要處理的數(shù)據(jù)量也與日俱增.從早期的單一數(shù)據(jù),到以集合形式存在的文件和關(guān)系表數(shù)據(jù),再到海量數(shù)據(jù)和無限數(shù)據(jù)流,每一種類型的數(shù)據(jù)都有不同的應(yīng)用背景和處理方法.數(shù)據(jù)流這種數(shù)據(jù)形式,在多種實際應(yīng)用中的廣泛出現(xiàn),而且對其的處理,在計算、存儲和通信等方面都對成熟的數(shù)據(jù)庫管理技術(shù)提出了極大的挑戰(zhàn).所以,數(shù)據(jù)流的處理方法越來越受到數(shù)據(jù)庫研究領(lǐng)域的專家學(xué)者的關(guān)注.數(shù)據(jù)流的處理是實時處理,處理算法

2、多為內(nèi)存算法.而數(shù)據(jù)流無限性的特點使實際中有限的內(nèi)存空間根本不能滿足某些處理的需要,只能進(jìn)行近似.利用滑動窗口將無限的數(shù)據(jù)流限制在有限的區(qū)間內(nèi)是一種常用的數(shù)據(jù)流近似處理方法,但其仍存在內(nèi)存問題.基于滑動窗口的查詢處理方法都基于一個假設(shè):"滑動窗口能夠全部存儲于內(nèi)存中".一旦此假設(shè)不再成立,那么,一些現(xiàn)有的處理方法將不再正確.由此可見,內(nèi)存問題是數(shù)據(jù)流處理中一個重要而亟待解決的問題.本文提出了利用基于滑動窗口的數(shù)據(jù)流壓縮方法和并行處理方法

3、,在一定情況下能夠解決內(nèi)存問題,提高對數(shù)據(jù)流的處理能力.首先,利用基于滑動窗口的數(shù)據(jù)流壓縮技術(shù)減少數(shù)據(jù)流對內(nèi)存的實際需求,提高內(nèi)存的"利用率",解決了滑動窗口內(nèi)存溢出的問題.提出兩種基于滑動窗口的數(shù)據(jù)流壓縮方法:SLZW和SALZW.并給出了在壓縮的數(shù)據(jù)流滑動窗口上的連續(xù)查詢處理方法.另外,利用并行處理的方法,可以提供更多的主存空間和更多的計算資源進(jìn)行數(shù)據(jù)流查詢處理,從而提高了數(shù)據(jù)流整體查詢處理能力.文中作者給出數(shù)據(jù)流并行查詢處理框架,