概念漂移下的數(shù)據(jù)流異常點(diǎn)檢測(cè)算法研究.pdf

1、異常檢測(cè)技術(shù)是一種重要的數(shù)據(jù)挖掘手段，被廣泛應(yīng)用于信用卡詐騙檢測(cè)、入侵檢測(cè)、疾病檢測(cè)等各個(gè)領(lǐng)域。目前國(guó)內(nèi)外研究學(xué)者從距離、密度、聚類(lèi)等角度出發(fā)，提出了各種異常檢測(cè)算法。然而現(xiàn)有的異常檢測(cè)算法大都是針對(duì)靜態(tài)數(shù)據(jù)，隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)流已經(jīng)成為了主要的數(shù)據(jù)生成形式，如傳感器及信用卡實(shí)時(shí)交易數(shù)據(jù)等。對(duì)于這種持續(xù)到達(dá)、數(shù)據(jù)到達(dá)的速度和數(shù)據(jù)量都可能是事先未知的、隨時(shí)間動(dòng)態(tài)演化的流式數(shù)據(jù)，至今沒(méi)有有效的異常檢測(cè)方法。
　　本文以數(shù)據(jù)流異

2、常檢測(cè)為研究對(duì)象，主要集中在概念漂移下的數(shù)據(jù)流異常檢測(cè)。當(dāng)前的數(shù)據(jù)流異常檢測(cè)算法大都把傳統(tǒng)的異常檢測(cè)算法擴(kuò)展到數(shù)據(jù)流上，或者套用時(shí)間窗口模型，只專(zhuān)注于近期數(shù)據(jù)，從而簡(jiǎn)化數(shù)據(jù)流。這些算法不能有效聚焦當(dāng)前數(shù)據(jù)流概念，而且孤立看待數(shù)據(jù)流異常，未能考慮其與數(shù)據(jù)流概念漂移之間的聯(lián)系?；诋?dāng)前數(shù)據(jù)流異常檢測(cè)算法的相關(guān)問(wèn)題，本文一方面從數(shù)據(jù)流原型學(xué)習(xí)的角度出發(fā)，提出一種基于原型的數(shù)據(jù)流異常檢測(cè)算法。它能夠動(dòng)態(tài)維護(hù)數(shù)據(jù)流上的重要數(shù)據(jù)，從而突破時(shí)間窗口模

3、型無(wú)法利用歷史數(shù)據(jù)的限制。另一方面，本文研究了當(dāng)前數(shù)據(jù)流挖掘模式，并提出一種考慮了數(shù)據(jù)流異常檢測(cè)與概念漂移之間的互惠性關(guān)系的數(shù)據(jù)流分類(lèi)框架。它通過(guò)實(shí)時(shí)刻畫(huà)異常程度，融合了數(shù)據(jù)流異常檢測(cè)和概念漂移檢測(cè)這兩個(gè)模塊。這兩個(gè)算法構(gòu)成了本文的核心內(nèi)容，本文的主要貢獻(xiàn)如下：
　　第一，提出基于原型的數(shù)據(jù)流異常檢測(cè)算法。它基于數(shù)據(jù)密度在數(shù)據(jù)流上進(jìn)行原型學(xué)習(xí)，而后根據(jù)同步壓縮等策略動(dòng)態(tài)維護(hù)一個(gè)對(duì)當(dāng)前數(shù)據(jù)流有重要意義的兩層的數(shù)據(jù)集合，并通過(guò)距離異常

4、的定義對(duì)下一時(shí)刻的數(shù)據(jù)進(jìn)行異常判斷。
　　第二，提出考慮異常檢測(cè)與概念漂移內(nèi)在關(guān)聯(lián)的數(shù)據(jù)流挖掘框架，首先本文設(shè)計(jì)了一種從數(shù)據(jù)壓縮角度出發(fā)的數(shù)據(jù)流異常檢測(cè)算法和一種動(dòng)態(tài)捕獲數(shù)據(jù)流概念的概念漂移檢測(cè)算法，而后通過(guò)實(shí)時(shí)刻畫(huà)數(shù)據(jù)異常程度，實(shí)現(xiàn)兩個(gè)算法的耦合，使得異常檢測(cè)能夠在不斷更新的概念下工作，同時(shí)數(shù)據(jù)流學(xué)習(xí)算法能夠屏蔽異常數(shù)據(jù)的影響，相互促進(jìn)，形成一個(gè)良性循環(huán)，達(dá)到較高的分類(lèi)性能。
　　最后本文通過(guò)一系列數(shù)據(jù)集以及當(dāng)前流行的數(shù)據(jù)