數(shù)據(jù)流概念漂移檢測算法研究.pdf

1、隨著信息技術(shù)的迅猛發(fā)展，在網(wǎng)絡(luò)監(jiān)控、電信數(shù)據(jù)管理和金融服務(wù)等領(lǐng)域源源不斷地產(chǎn)生新數(shù)據(jù)。具有海量、連續(xù)、多變及潛在無限性等特征的數(shù)據(jù)流不僅為數(shù)據(jù)存儲帶來挑戰(zhàn)，也加大了知識獲取的難度。數(shù)據(jù)流中目標(biāo)概念隨著潛在信息變化而變化的現(xiàn)象稱為概念漂移，概念漂移檢測可應(yīng)用于垃圾郵件檢測、金融欺詐監(jiān)測、天氣變化預(yù)測和客戶偏好調(diào)查，具有很高的應(yīng)用價值。
　　針對概念漂移檢測，已有的工作主要采用基于規(guī)則、決策樹、樸素貝葉斯和支持向量機等方法。通過計算概

2、率分布的特性和分類精度來檢測漂移，在概念刻畫和分類方法上仍然可以做出改進。因此，本文針對數(shù)據(jù)流中的漂移檢測問題展開研究。論文主要工作如下：
　　（1）概述面向數(shù)據(jù)流的概念漂移檢測算法普遍存在的問題，分析其優(yōu)缺點，提出本文算法的突破口和所要實現(xiàn)的目標(biāo)。
　?。?）數(shù)據(jù)流概念漂移檢測的性能依賴于概念刻畫的精度，已有的算法主要基于單窗口機制，窗口間有序而窗口內(nèi)無序，丟失了概念內(nèi)的時序特征。針對此問題，研究并提出了一種基于序列比對的

3、概念漂移檢測算法CDD_BSA。該算法采用滑動窗口機制，改進Needleman-Wunsch算法作為相鄰窗口的概念相似性度量指標(biāo)。實驗表明：與已有的代表性的概念漂移檢測算法比較，該算法刻畫概念更加細(xì)致，可以適應(yīng)不同類型、不同速率的概念漂移。
　?。?）基于單窗口機制的概念漂移檢測算法受窗口規(guī)模影響很大，窗口過大不適應(yīng)新的目標(biāo)概念；窗口過小導(dǎo)致目標(biāo)概念學(xué)習(xí)數(shù)據(jù)不完備。針對這一問題，本文提出一種基于動態(tài)窗口的概念漂移檢測算法CDD_B