基于概念漂移的異常檢測技術(shù)研究.pdf

1、在機(jī)器學(xué)習(xí)中，經(jīng)常存在一些與正常數(shù)據(jù)或現(xiàn)有的一般規(guī)律不符合的數(shù)據(jù)，這些對(duì)象就是異常數(shù)據(jù)，但在實(shí)際應(yīng)用中，這些數(shù)據(jù)經(jīng)常被人們忽視。實(shí)際情況是，這些數(shù)據(jù)可能具有特殊含義，在異常檢測領(lǐng)域，由于它們比正常數(shù)據(jù)包含更多的有用知識(shí)，它們是研究的重點(diǎn)，通過發(fā)現(xiàn)其中的規(guī)律可以迅速地對(duì)異常情況作出準(zhǔn)確的判斷和處理。
　　在大多數(shù)系統(tǒng)中，傳感器接收到的數(shù)據(jù)都是快速、實(shí)時(shí)、無限的。傳感器數(shù)據(jù)是以數(shù)據(jù)流的形式傳輸?shù)綌?shù)據(jù)處理中心的，這給傳統(tǒng)的異常檢測技術(shù)帶

2、來了挑戰(zhàn)。同時(shí)，在數(shù)據(jù)流中，行為模式隨時(shí)間的改變可能會(huì)發(fā)生變化，即出現(xiàn)了模式的正常變化，也就是概念漂移。如何能夠適應(yīng)概念漂移也是異常檢測領(lǐng)域的研究重點(diǎn)之一。
　　本文采用數(shù)據(jù)挖掘和基于統(tǒng)計(jì)的方法來對(duì)整個(gè)傳感器數(shù)據(jù)進(jìn)行建模，從中識(shí)別出異常數(shù)據(jù)，包括對(duì)單個(gè)數(shù)據(jù)點(diǎn)進(jìn)行檢測的點(diǎn)異常和連續(xù)一段時(shí)間出現(xiàn)的模式異常。為用戶提供一種有效的進(jìn)行數(shù)據(jù)流異常檢測的方式，以解決發(fā)生了概念漂移的數(shù)據(jù)流中異常數(shù)據(jù)的診斷問題。
　　對(duì)于異常點(diǎn)的檢測，使用

3、數(shù)據(jù)挖掘中的遞歸神經(jīng)網(wǎng)絡(luò)技術(shù)，提出了使用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)進(jìn)行異常點(diǎn)檢測的方法，RNN模型能夠有效地對(duì)傳感器采集到的無明顯規(guī)律的時(shí)間序列數(shù)據(jù)進(jìn)行擬合，由于模型本身的時(shí)序性，該模型比多項(xiàng)式擬合和基于BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)的擬合模型有更好的擬合效果。對(duì)于從大量數(shù)據(jù)中去掉離群點(diǎn)或噪聲點(diǎn)有很重要的作用。
　　對(duì)于異常模式的檢測，由于需要考慮到概念漂移的情況，即

4、模式的正常變化。本文提出了一種全新的思路和方法，將馬爾科夫過程的思想應(yīng)用于異常模式的檢測，提出了模式轉(zhuǎn)移的概念。在此基礎(chǔ)上提出了基于Kmeans-馬爾科夫模型的異常模式檢測方法。能夠較準(zhǔn)確地適應(yīng)概念漂移的情況。然后嘗試將該方法應(yīng)用于模擬數(shù)據(jù)和本文相關(guān)項(xiàng)目的流數(shù)據(jù)中，并與現(xiàn)有的基于SAX(Symbolic Aggregate ApproXimation)的異常檢測方法進(jìn)行了對(duì)比，本文提出的異常模式檢測方法能夠較準(zhǔn)確檢測出流數(shù)據(jù)中的異常模式