高性能數(shù)據(jù)流模式發(fā)現(xiàn)算法及其應用研究.pdf

1、隨著傳感器技術和網絡計算的發(fā)展，數(shù)據(jù)流作為一種廣泛存在的數(shù)據(jù)，在網絡監(jiān)控、環(huán)境監(jiān)測、工業(yè)控制及財經分析得到廣泛應用，這些應用具有如下共同特點：要求實時或近實時連續(xù)分析這些數(shù)據(jù)，數(shù)據(jù)量特別大并且以流的形式高速到達。傳統(tǒng)“先存儲然后處理”的數(shù)據(jù)挖掘模型難于處理這種高速率、瞬息即逝的數(shù)據(jù)流，挖捌數(shù)據(jù)流對數(shù)據(jù)挖掘提出了全新挑戰(zhàn)。 數(shù)據(jù)流數(shù)據(jù)中隱含多種模式，如何快速有效發(fā)現(xiàn)這些模式，是很多實際應用的核心問題。近年來，數(shù)據(jù)流模式發(fā)現(xiàn)已經成為

2、數(shù)據(jù)挖掘領域最具挑戰(zhàn)性研究課題之一。本文旨在通過引入魯棒機制及增量遺忘機制提高模式發(fā)現(xiàn)算法性能，并將這些算法用于分析工業(yè)生產過程，提高產品質量。取得的主要研究成果包括： 1）提出一種基于系統(tǒng)辨識領域中的增量遞推最小二乘回歸參數(shù)估計方法與廣義似然比檢驗方法有機結合的數(shù)據(jù)流實時趨勢提取算法。該算法對不斷到達的數(shù)據(jù)流元素，采用增量方法確定線性回歸模型參數(shù)，利用廣義似然比檢驗判斷分段邊界點，自動分段給出數(shù)據(jù)流趨勢。與現(xiàn)有趨勢提取算法相比

3、，該算法不但計算速度快且精度高； 2）提出一種基于數(shù)據(jù)驅動的數(shù)據(jù)流在線模式變化魯棒檢測算法。該算法首先以給定長度的兩相鄰時間窗口對數(shù)據(jù)流取樣，然后以支持向量數(shù)據(jù)描述方法將這兩相鄰時間窗口取樣的數(shù)據(jù)流子集映射到規(guī)范化的高維特征空間，并分別建立描述這兩相鄰時間窗口取樣數(shù)據(jù)流子集映像的最小超球模型（排除了其中的離群點），最后通過計算兩超球之間的球心矢量的夾角的余弦，度量該兩相鄰時間窗口取樣數(shù)據(jù)流子集的相似性檢測模式變化。該算法不需要先

4、驗知識，不受離群點影響，具有較強魯棒性； 3）提出一種基于偏向最近動態(tài)最小二乘支持向量回歸（RBDLS—SVR）的離群點檢測算法。該算法由于采用了基于RBDLS—SVR方法建模，將SVM的學習問題轉化為解線性方程組問題，并采用了增量遺忘機制高精度跟蹤數(shù)據(jù)流動態(tài)。因此避免了采用一般SVR建模方法應用于數(shù)據(jù)流回歸建模時，每增加或減少一個樣本就需要完全重新進行一次求解計算的缺陷，不但計算速度快而且精度高，能有效檢測數(shù)據(jù)流中的離群點；

5、 4）提出一種基于傾斜時間窗口的數(shù)據(jù)流偏向最近聚類算法。該算法首先通過將滑動窗口中數(shù)據(jù)等長分割形成不重疊的數(shù)據(jù)塊—基本窗口，然后對每一基木窗口以Haar小波變換提取窗口數(shù)據(jù)的特征，通過改變所取各基本窗口小波變換系數(shù)個數(shù)達到保留較多最近數(shù)據(jù)細節(jié)特征的目的，即對于越近的基本窗口保留越多的小波系數(shù)而越舊的基本窗口保留越少的小波系數(shù)，最后通過定義數(shù)據(jù)流偏向最近距離，完成基于傾斜時間窗口的偏向最近聚類算法。該算法計算速度快，能高效地實現(xiàn)數(shù)據(jù)

6、流偏向最近聚類分析； 5）闡述了數(shù)據(jù)流模式發(fā)現(xiàn)在實際生產過程中的應用。針對復雜的鋼鐵生產過程數(shù)據(jù)，應用本文提出的數(shù)據(jù)流模式發(fā)現(xiàn)算法完成兩個挖掘任務：離群點檢測及突變發(fā)現(xiàn)。理論與實踐表明，本文提出的算法在大規(guī)模工業(yè)生產過程數(shù)據(jù)分析方面有廣闊前景。 總之，本文主要研究了高性能數(shù)據(jù)流模式發(fā)現(xiàn)算法及其在工業(yè)生產過程的應用，這些算法是對現(xiàn)有數(shù)據(jù)流模式發(fā)現(xiàn)的有益補充或改進。理論和實驗都表明，與現(xiàn)有算法相比，本文提出的算法在性能（處理