基于聚類分析的數(shù)據(jù)流處理算法.pdf

1、信息技術在不斷發(fā)展，隨之而來的是越來越多的實際工程應用中需要處理一種海量數(shù)據(jù)，這種數(shù)據(jù)具有瞬變性、實時性以及無限性等特點，稱之為數(shù)據(jù)流。數(shù)據(jù)流最早出現(xiàn)在傳統(tǒng)的銀行和股票交易領域，現(xiàn)在也出現(xiàn)在地質(zhì)測量、環(huán)保、氣象、天文觀測等領域。尤其是在互聯(lián)網(wǎng)絡，比如網(wǎng)絡流量監(jiān)控、點擊流量等以及無線通信網(wǎng)絡。由于大多數(shù)的這類數(shù)據(jù)的維度較大，因此能夠持續(xù)自動產(chǎn)生大量的細節(jié)數(shù)據(jù)。對于這些領域的數(shù)據(jù)可以進行包括趨勢分析、預測等等這類復雜的分析，這些操作可以在數(shù)

2、據(jù)倉庫中進行脫機處理，而在網(wǎng)絡安全和國家安全應用領域中，對時間都非常敏感，如復雜人群監(jiān)控，趨勢監(jiān)控，探查性分析，檢測互聯(lián)網(wǎng)上的極端事件、入侵、異常、欺詐以及和諧度分析等，都需要在線進行及時分析。因此通常都需要對數(shù)據(jù)流進行近實時的復雜分析。
　　 頻繁模式挖掘、分類以及聚類是數(shù)據(jù)流的三個主要分析方面，這三類都用到了一些如滑動窗口技術的新方法和新技術。本文通過介紹數(shù)據(jù)流和數(shù)據(jù)流聚類算法，針對橋梁健康監(jiān)測數(shù)據(jù)進行分析，提出了一種改進的

3、基于特征投影和擬合的數(shù)據(jù)流聚類算法(HpFitStream)。該算法結合滑動窗口技術和擬合算法對數(shù)據(jù)流進行聚類預處理，并將聚類之后的數(shù)據(jù)流的統(tǒng)計特征存儲于概要數(shù)據(jù)結構中，運用統(tǒng)計分析學的相關理論對數(shù)據(jù)流中的數(shù)據(jù)點進行相關分析，掌握和了解數(shù)據(jù)流的特征和變化趨勢，從而有效地分析被監(jiān)測對象的狀況，為被監(jiān)控對象在發(fā)生嚴重異常時，進行早期預警，以及維護、維修與管理提供保證。
　　 本文的研究主要集中在以下幾個方面:
　　 ①概述數(shù)

4、據(jù)流，并從數(shù)據(jù)流的處理功能出發(fā)，介紹現(xiàn)有的數(shù)據(jù)流處理模型，包括滑動窗口模型、界標模型以及快照模型，總結現(xiàn)有數(shù)據(jù)流模型的優(yōu)缺點。以研究內(nèi)容和研究目的為出發(fā)點，本課題選擇了基于滑動窗口的數(shù)據(jù)流處理模型，以保證數(shù)據(jù)處理的可靠性以及穩(wěn)定性，并分析可行性。
　　 ②介紹數(shù)據(jù)流聚類分析的概念、經(jīng)典數(shù)據(jù)流聚類算法。目前聚類分析中大部分聚類算法都是針對低維數(shù)據(jù)流的，而現(xiàn)實中需要處理的數(shù)據(jù)往往大部分都是高維的，因此本文也介紹了高維數(shù)據(jù)流的聚類算法

5、。針對橋梁健康監(jiān)測數(shù)據(jù)的多維性，在經(jīng)典數(shù)據(jù)流的聚類算法基礎上，本課題提出了一種改進的數(shù)據(jù)流聚類算法，基于特征投影和擬合的高維數(shù)據(jù)流聚類算法(HpFitStream)，實現(xiàn)對大量的、動態(tài)的、高維數(shù)據(jù)流的聚類。該算法結合滑動窗口技術，采用特征向量投影實現(xiàn)高維數(shù)據(jù)流的降維處理，并采用多項式擬合算法對原始數(shù)據(jù)中的異常數(shù)據(jù)進行預處理。
　　 ③在聚類結果的基礎上，課題提出了一種新的數(shù)據(jù)流趨勢分析方法，基于滑動窗口的數(shù)據(jù)流分段趨勢分析，該方