數(shù)據(jù)流異常檢測技術(shù)研究與應(yīng)用.pdf

1、異常檢測技術(shù)由于其在網(wǎng)絡(luò)安全、信用欺詐和金融分析等領(lǐng)域的廣泛應(yīng)用,一直都是信息科學(xué)研究領(lǐng)域的關(guān)注重點,研究者們將統(tǒng)計學(xué),數(shù)據(jù)挖掘,信息理論等眾多技術(shù)引入異常檢測的研究,提出了許多有效的異常檢測方法。但是隨著社會信息化程度和數(shù)據(jù)采集自動化程度的不斷提高,許多數(shù)據(jù)如商品交易、視屏點播等都以數(shù)據(jù)流的形式出現(xiàn),因此數(shù)據(jù)流作為待分析的動態(tài)數(shù)據(jù)集合越來越多地引起研究者和工業(yè)界的關(guān)注。相比傳統(tǒng)的靜態(tài)數(shù)據(jù)集,數(shù)據(jù)流具有海量,無限、多變化(概念漂移)等特

2、點,這些特性都對傳統(tǒng)的異常檢測方法提出了挑戰(zhàn),其中概念漂移更是給數(shù)據(jù)流異常檢測方法的有效實現(xiàn)帶來了極大的困難。如何建立一種基于數(shù)據(jù)流的異常檢測方法,使得該方法既能體現(xiàn)概念漂移對異常檢測模型的影響又能快速有效的進(jìn)行異常檢測,將是一個重要的研究課題。
　　 本文以數(shù)據(jù)流作為研究對象,把對數(shù)據(jù)流概念漂移的處理引入異常檢測研究領(lǐng)域,通過捕獲和容忍數(shù)據(jù)流的分布變化,提出了一種適合數(shù)據(jù)流應(yīng)用場景的異常檢測方法,具有較高的應(yīng)用價值。
　

3、　 本文開篇對傳統(tǒng)的異常檢測技術(shù)和現(xiàn)有的數(shù)據(jù)流異常檢測技術(shù)進(jìn)行了分析,簡要介紹了典型的檢測方法并給出了自己的見解。在此基礎(chǔ)上,本文提出了一種響應(yīng)式數(shù)據(jù)流異常檢測方法。該方法首先將有監(jiān)督和無監(jiān)督算法結(jié)合應(yīng)用到數(shù)據(jù)流異常檢測中,在實現(xiàn)了未知異常數(shù)據(jù)對象檢測的同時保證了檢測的效率。針對數(shù)據(jù)流中概念漂移的難題,引入了概念漂移檢測和容忍策略來適應(yīng)數(shù)據(jù)流分布的變化。通過訓(xùn)練數(shù)據(jù)選擇、訓(xùn)練數(shù)據(jù)更新和多分類器集成,提高了分類器對概念漂移的容忍度;通過

4、量化分析和比較數(shù)據(jù)流中不同時間數(shù)據(jù)對象集合的整體特征,實現(xiàn)了概念漂移的檢測,并以此為依據(jù)觸發(fā)異常檢測模型的更新。實驗表明,本文提出的響應(yīng)式數(shù)據(jù)流異常檢測方法不但能夠有效地實現(xiàn)數(shù)據(jù)流的異常檢測,也能夠捕獲數(shù)據(jù)流的概念漂移并及時更新異常檢測模型。最后本文嘗試將該方法應(yīng)用于P2P僵尸網(wǎng)絡(luò)檢測中,通過對僵尸病毒傳播過程中的P2P僵尸通信進(jìn)行捕獲,輔助實現(xiàn)網(wǎng)絡(luò)中僵尸主機的發(fā)現(xiàn),為進(jìn)一步發(fā)現(xiàn)整個僵尸網(wǎng)絡(luò)提供依據(jù)。實驗表明,本文中提出的數(shù)據(jù)流異常檢測