一種多數(shù)據(jù)流聚類(lèi)異常檢測(cè)算法.pdf

1、數(shù)據(jù)流作為一種新型的數(shù)據(jù)模型,在許多應(yīng)用諸如網(wǎng)絡(luò)流量管理、金融數(shù)據(jù)處理、交通治理以及電子商務(wù)中都扮演著重要的角色。在數(shù)據(jù)流挖掘技術(shù)日益得到廣泛關(guān)注的今天,多數(shù)據(jù)流處理問(wèn)題給研究人員帶來(lái)了新的挑戰(zhàn):一方面,由于多數(shù)據(jù)流既要求保留數(shù)據(jù)流的無(wú)限和快速等特性,還需要利用有限的系統(tǒng)資源減少多數(shù)據(jù)流不確定性因素對(duì)挖掘過(guò)程造成的影響;另一方面,由于多數(shù)據(jù)流之間具有相關(guān)性,其處理技術(shù)則要求不僅關(guān)注一條數(shù)據(jù)流的流量變化,同時(shí)還需要根據(jù)大量數(shù)據(jù)流之間的相關(guān)

2、性進(jìn)行研究。因此仍存在許多問(wèn)題尚待解決,學(xué)術(shù)界對(duì)多數(shù)據(jù)流的聚類(lèi)分析和異常檢測(cè)問(wèn)題進(jìn)行廣泛的研究。
　　 本文主要研究基于聚類(lèi)的多數(shù)據(jù)流異常檢測(cè)問(wèn)題,首先總結(jié)數(shù)據(jù)流挖掘的相關(guān)理論;對(duì)現(xiàn)有的聚類(lèi)算法進(jìn)行詳細(xì)的分類(lèi)介紹。結(jié)合多數(shù)據(jù)流的特點(diǎn),總結(jié)多數(shù)據(jù)流聚類(lèi)的研究方向和現(xiàn)有的異常檢測(cè)的方法,分析了多數(shù)據(jù)流異常檢測(cè)存在的難點(diǎn)和面臨的挑戰(zhàn)。在分析了聚類(lèi)的多數(shù)據(jù)流異常檢測(cè)所存在問(wèn)題的基礎(chǔ)上,本文設(shè)計(jì)了一種性能較好的多數(shù)據(jù)流異常檢測(cè)算法。該算法

3、首先對(duì)多數(shù)據(jù)流進(jìn)行預(yù)處理,根據(jù)數(shù)據(jù)流序列的相關(guān)度特征運(yùn)用離散小波變換,得到壓縮的流序列,降低了系統(tǒng)內(nèi)存存儲(chǔ)需求,加快了計(jì)算機(jī)處理的時(shí)間;建立了改進(jìn)的相似度矩陣,提高了聚類(lèi)結(jié)果的準(zhǔn)確率;通過(guò)計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的局部可達(dá)密度,對(duì)核心對(duì)象進(jìn)行標(biāo)記,從而實(shí)現(xiàn)基于密度的聚類(lèi),生成任意形狀的聚類(lèi);最后對(duì)聚類(lèi)產(chǎn)生的被定義為噪聲的集合,進(jìn)行增量的LOF計(jì)算,根據(jù)設(shè)定的離群點(diǎn)閾值,判斷多數(shù)據(jù)流中的異常。
　　 本文在聚類(lèi)的同時(shí),運(yùn)用離群點(diǎn)檢測(cè)算法實(shí)現(xiàn)