實時數(shù)據(jù)流相似性查詢算法的研究.pdf

1、隨著數(shù)據(jù)處理領(lǐng)域研究的不斷深入和研究內(nèi)容的不斷發(fā)展，研究者們逐步發(fā)現(xiàn)數(shù)據(jù)需要以流的形式處理。這些數(shù)據(jù)傳輸速度快、規(guī)模大、傳輸持續(xù)時間長，并且只能被有限的讀取幾次。對于無限的數(shù)據(jù)流而言，系統(tǒng)的有限內(nèi)存只能得到一定精度的相似解。傳統(tǒng)的數(shù)據(jù)查詢算法利用關(guān)系模型，將數(shù)據(jù)在數(shù)據(jù)庫中存儲后再進行相關(guān)處理，不再適合用于不是永久關(guān)系形式的數(shù)據(jù)流。因此，如何實現(xiàn)對數(shù)據(jù)流的高實時性、高相似性的快速查詢變得越來越重要。
　　本文主要基于Haar小波分析

2、方法預(yù)處理數(shù)據(jù)，結(jié)合滑動窗口算法和貪心算法的優(yōu)點，綜合實現(xiàn)數(shù)據(jù)流相似性查詢。首先，本文介紹分析了Haar的相關(guān)理論，在數(shù)據(jù)總體誤差可接受的約束前提下，利用抽樣將數(shù)據(jù)流的數(shù)據(jù)總量降低，完成數(shù)據(jù)的預(yù)處理，仿真實驗表明總體誤差可以穩(wěn)定在98％左右時，利用本文數(shù)據(jù)預(yù)處理算法可以將數(shù)據(jù)總量壓縮7~11倍，驗證了此種數(shù)據(jù)預(yù)處理的有效性。其次，為了解決數(shù)據(jù)滑動窗口過長造成數(shù)據(jù)等待時間過長和滑動窗口過短造成整體處理時間過長的之間的矛盾，本文對基本滑動窗