基于數(shù)據(jù)挖掘的分布式異常檢測.pdf

1、數(shù)據(jù)挖掘是知識發(fā)現(xiàn)的一種重要工具，它的目的是發(fā)現(xiàn)隱含在大量數(shù)據(jù)中有價值的模式信息。異常檢測在數(shù)據(jù)挖掘的四大任務(wù)中占據(jù)著非常重要的地位，與預(yù)測模型、聚類分析和關(guān)聯(lián)分析相比，它顯得更有價值，更能體現(xiàn)數(shù)據(jù)挖掘的初衷。例如，一萬個正常的記錄很可能只覆蓋一條規(guī)則，而十個異常很可能就意味著十條不同的規(guī)則。異常檢測在多個領(lǐng)域中具有廣泛的應(yīng)用，如信用卡欺詐檢測、藥物研究、醫(yī)療分析、消費(fèi)者行為分析、氣象預(yù)報、網(wǎng)絡(luò)入侵檢測等。在信息產(chǎn)業(yè)高速發(fā)展的今天，隨著

2、業(yè)務(wù)規(guī)模的不斷擴(kuò)大和服務(wù)內(nèi)容的不斷更新，迫切需要企業(yè)采用分布式解決方案，用于管理復(fù)雜的異構(gòu)環(huán)境，實(shí)現(xiàn)不同硬件設(shè)備、軟件系統(tǒng)、網(wǎng)絡(luò)環(huán)境及數(shù)據(jù)庫系統(tǒng)之間的協(xié)同工作，這也給研究者和工程人員提出了新的挑戰(zhàn)。在分布式環(huán)境下，異常檢測需要考慮的主要問題是：如何利用最少傳輸提供最大的信息共享，同時要保證異常檢測的準(zhǔn)確性和各方數(shù)據(jù)的隱私性。為解決此問題，本文從數(shù)據(jù)挖掘的角度，針對分布式異常檢測技術(shù)進(jìn)行了創(chuàng)新性和探索性研究。主要研究內(nèi)容為：
　　

3、 1.從異常檢測的定義出發(fā)，針對現(xiàn)有基于數(shù)據(jù)挖掘的各種異常檢測方法進(jìn)行了詳細(xì)描述，并分析其各自優(yōu)缺點(diǎn)和目前國內(nèi)外相關(guān)技術(shù)的研究現(xiàn)狀。
　　 2.通過對比集中式異常檢測和分布式異常檢測的不同，并結(jié)合集成學(xué)習(xí)方法，提出一套分布式異常檢測框架。應(yīng)用此框架，分別針對有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的異常檢測方法進(jìn)行了研究，實(shí)驗(yàn)結(jié)果表明提出的分布式檢測框架能夠獲得和集中式檢測相當(dāng)甚至更好的檢測效果，同時能夠保證各方數(shù)據(jù)的隱私性。
　　 3.

4、研究分布式環(huán)境下數(shù)據(jù)流上的異常檢測，同時提出一種響應(yīng)式的概念漂移檢測模型，能夠準(zhǔn)確的進(jìn)行概念漂移數(shù)據(jù)流上的異常檢測。
　　 4.研究分布式環(huán)境下高維數(shù)據(jù)的無監(jiān)督異常檢測，針對高維科學(xué)數(shù)據(jù)提出一種自適應(yīng)譜聚類方法，并在分子動力學(xué)數(shù)值模擬科學(xué)數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)，得到了很好的檢測效果。
　　 5.研究分布式異常檢測中的隱私保護(hù)問題，并針對支持向量機(jī)分類器提出了一種隱私保護(hù)支持向量機(jī)。通過實(shí)驗(yàn)證明，提出的方法能夠保證數(shù)據(jù)的隱私性，