演化數(shù)據(jù)流的異常檢測研究.pdf

1、隨著計算機與網絡通信技術的飛速發(fā)展和應用領域的不斷擴大，在傳感器網絡管理、金融風險分析、互聯(lián)網流量管理和網絡入侵檢測等諸多領域里，處理的數(shù)據(jù)不再是有限存儲的數(shù)據(jù)集合，而是短時間內大量到達，隨時間動態(tài)變化的演化數(shù)據(jù)流。傳統(tǒng)的數(shù)據(jù)庫技術無法使用有限空間來快速處理這種海量、高速的數(shù)據(jù)流從而獲取實時的有用信息。如何對這些場景中大量的數(shù)據(jù)流實時準確地進行異常檢測以達到相關的應用需求已成為當前數(shù)據(jù)流挖掘的研究熱點。 本文闡述了目前國內外關于

2、數(shù)據(jù)流異常檢測的研究成果；在分析現(xiàn)有研究成果的基礎上，針對數(shù)據(jù)流的不同應用場景，分別提出了解決方法。針對中低維的集中式數(shù)據(jù)流，采用LOF算法和SR樹索引結構結合的方法設計了SR_IncLOF算法，特別針對高維的集中式數(shù)據(jù)流場景，提出了基于張量分解的異常檢測算法；對于分布式數(shù)據(jù)流場景，構建了一個分布式的數(shù)據(jù)流異常檢測模型，設計了結合核密度和微簇樹數(shù)據(jù)結構的異常檢測算法。通過不同類型數(shù)據(jù)集的實驗驗證了本文算法的異常檢測性能相比其他同類算法都

3、有較大的提高。研究內容包括以下幾個方面： ⑴針對基于密度的LOF算法所存在的不足進行改進，提出一種結合SR索引樹的異常檢測優(yōu)化算法SR_IncLOF算法，能夠解決集中式的低中維數(shù)據(jù)流異常檢測問題。該算法通過SR索引樹來快速查找每個數(shù)據(jù)點的KNN集和KRNN集，采用局部異常因子LOF刻畫異常程度，不但能夠快速地增量更新，有效地解決了數(shù)據(jù)流的快速演化和一次遍歷等問題，而且復雜度較低，支持實時要求非常高的數(shù)據(jù)流異常檢測。 ⑵針

4、對高維的集中式數(shù)據(jù)流異常檢測問題，分析了基于張量分解的高維索引技術，提出了基于張量分解的異常檢測算法。該算法以張量的視角來模擬演化數(shù)據(jù)流，對此進行張量分解，基于張量分析來近似數(shù)據(jù)流的分布，并且通過自適應采樣能得到關于數(shù)據(jù)流的最佳近似矩陣，易于實施。 ⑶針對分布式數(shù)據(jù)流場景，提出基于核密度的分布式異常檢測技術，提出了兩種新的異常點定義，分別對應于基于距離和基于密度的異常分布。針對此問題提出兩種有效的算法，第一個算法基于核密度估計技