數(shù)據(jù)流上概念漂移的檢測和分類.pdf

1、在當(dāng)今信息時代,通信、計算機和網(wǎng)絡(luò)技術(shù)的快速發(fā)展讓我們能捕獲和存儲大量的數(shù)據(jù),導(dǎo)致數(shù)據(jù)出現(xiàn)了爆炸性增長。在這些數(shù)據(jù)中尋找模式、趨勢和異常之處,并且以簡單的數(shù)量模型歸納,是信息時代巨大的挑戰(zhàn)之一。數(shù)據(jù)挖掘正是為應(yīng)對這一的挑戰(zhàn)所誕生的一門新學(xué)科。近幾年來出現(xiàn)了一類新的數(shù)據(jù)應(yīng)用模型,包括:信用卡欺詐監(jiān)測、網(wǎng)絡(luò)安全監(jiān)控、傳感器數(shù)據(jù)和電力供應(yīng)網(wǎng)等。此類應(yīng)用模型的特點是海量的數(shù)據(jù)以高速有序的形式到達,學(xué)者將此類數(shù)據(jù)形式稱之為數(shù)據(jù)流,即大量且連續(xù)的和

2、潛在無限的數(shù)據(jù)的有序序列。
　　 分類技術(shù)是數(shù)據(jù)挖掘中一個非常重要的研究領(lǐng)域,而數(shù)據(jù)流模型自身的特點給傳統(tǒng)的分類技術(shù)帶來了新的挑戰(zhàn),即如何從快速到來的、海量的且數(shù)據(jù)分布可能發(fā)生變化的數(shù)據(jù)流中訓(xùn)練模型,來有效地預(yù)測未來的數(shù)據(jù)趨勢。近年來出現(xiàn)了大量的數(shù)據(jù)流分類算法:VFDT、CVFDT、加權(quán)集成分類器和在線Bagging和Boosting。
　　 分本的研究重點為分類帶有概念漂移的數(shù)據(jù)流技術(shù)。首先通過對概念漂移的分析,提出一

3、種概念漂移檢測方法。該方法使用統(tǒng)計學(xué)理論估計某一確定模型在最新概念上的真實錯誤率的置信區(qū)間,在一定概率保證下檢測數(shù)據(jù)流中是否發(fā)生了概念漂移。其次使用該概念漂移檢測方法和核均值匹配(KMM)算法形成一種新的集成分類器框架,提出了一種數(shù)據(jù)流分類的新算法WSEC,并以理論和實驗證明了該算法的有效性。最后提出了一種自適應(yīng)概念漂移的基于Hoeffding樹在線bagging分類算法(AHBag)。該算法對概念漂移檢測方法進行修改使之適合在線挖掘,