基于EMD的數(shù)據(jù)流相似性連接的研究.pdf

1、近年來，隨著共享視頻、社交網絡等新興產品的崛起，網絡中的數(shù)據(jù)規(guī)模也呈爆炸式增長。這些數(shù)據(jù)具有結構復雜、數(shù)量巨大等特點，因此從海量數(shù)據(jù)中提取關鍵數(shù)據(jù)難度變得越來越大，尤其是在海量數(shù)據(jù)中做相似性連接顯得愈發(fā)困難。所謂相似性連接，是指從一個或兩個數(shù)據(jù)源中查找所有的相似數(shù)據(jù)對，并返回結果。相似性搜索在概率數(shù)據(jù)相關的許多實際應用中扮演著十分重要的作用，如無線傳感器網絡、股票分析以及基于多個視頻源的對象跟蹤。EMD距離(Earth Mover's

2、Distance)在計算機視覺領域返回的相似性概率數(shù)據(jù)與人類對相似性的判斷更一致。然而，EMD立方級的復雜度阻礙了其相關應用的普及，特別是在分析快速到達數(shù)據(jù)的數(shù)據(jù)流方面，同時源源不斷到達的數(shù)據(jù)可能會造成系統(tǒng)緩存不足、系統(tǒng)過載導致性能急劇下降等問題。為此，本文嘗試采用EMD的方法對滑動窗口語義的數(shù)據(jù)流進行相似性連接處理，主要開展了以下方面的研究工作:
　　(1)針對EMD距離函數(shù)優(yōu)化問題中存在的復雜度高、計算時間長，數(shù)據(jù)流數(shù)據(jù)的無限

3、性等問題，提出一種基于B+森林索引框架的EMD相似性算法(稱為EMD-DSJoin)。算法的設計思想是:利用線性規(guī)劃的原始對偶理論把到達的直方圖概率數(shù)據(jù)轉換為EMD下界距離，然后基于EMD的下界距離構建一組B+森林索引，利用B+森林有效地對不需要進行EMD計算的直方圖概率數(shù)據(jù)剪枝，從而加快基于EMD的相似性連接效率;最后利用滑動窗口解決有限緩存保存延遲數(shù)據(jù)問題。算法具體的實現(xiàn)方法為:(a)通過構建B+樹森林和更新可行解，提高過濾效果，過

4、濾掉完全相關或完全不相關的數(shù)據(jù);通過構建子索引，利用丟棄成塊的子索引完成數(shù)據(jù)的丟棄，減少丟棄數(shù)據(jù)的維護代價。(b)優(yōu)化B+樹森林存檔周期，根據(jù)滑動窗口值和容量因子的變化，使存檔周期P值達到自適應變化的效果，從而讓B+樹森林索引機制更高效運行。通過用真實環(huán)境的數(shù)據(jù)集進行的驗證實驗和對比分析結果表明，EMD-DSJoin算法的CPU時間、EMD求精次數(shù)都有一定程度的減少，處理速度比已有對比算法快了35％左右，說明EMD-DSJoin算法使數(shù)

5、據(jù)剪枝更為高效，為處理亂序數(shù)據(jù)提供更為有效的處理策略。
　　(2)數(shù)據(jù)流的數(shù)據(jù)到達并不是勻速的，當數(shù)據(jù)在某時間段集中到達時，由于系統(tǒng)資源有限，數(shù)據(jù)流高爆發(fā)時容易造成系統(tǒng)過載，從而導致連接性能大幅度下降。為了解決這一問題，本文提出了基于EMD-DSJoin算法的降載策略。該策略充分考慮了數(shù)據(jù)流上數(shù)據(jù)具有的時間關聯(lián)性，在系統(tǒng)過載時過濾掉數(shù)據(jù)中包含的冗余數(shù)據(jù)，有效減少了相似性連接的次數(shù)，同時盡可能保證相似性連接結果的完整性。實驗結果表明