基于數(shù)據(jù)流的概念漂移檢測(cè)及集成分類研究.pdf

1、大數(shù)據(jù)引領(lǐng)了信息時(shí)代的重要變革，影響了經(jīng)濟(jì)、科技和社會(huì)等各個(gè)層面，大數(shù)據(jù)的其中一種形式以海量實(shí)時(shí)數(shù)據(jù)流的方式呈現(xiàn)。這些海量的實(shí)時(shí)數(shù)據(jù)中隱藏著巨大的價(jià)值，如何更好的挖掘處理這些實(shí)時(shí)數(shù)據(jù)流已經(jīng)成為了國(guó)內(nèi)外數(shù)據(jù)挖掘領(lǐng)域的研究重點(diǎn)和熱點(diǎn)。
　　數(shù)據(jù)流具有有序性、實(shí)時(shí)性、高速性、動(dòng)態(tài)性、潛在無(wú)限性等特點(diǎn)，對(duì)數(shù)據(jù)流的處理包含存儲(chǔ)、處理、分析和應(yīng)用等。概要結(jié)構(gòu)是用于解決數(shù)據(jù)流潛在無(wú)限性問題的處理技術(shù)，但現(xiàn)有的概要結(jié)構(gòu)算法存在著重構(gòu)數(shù)據(jù)流與原數(shù)據(jù)

2、流相對(duì)重構(gòu)誤差較大和參數(shù)難以調(diào)整的缺點(diǎn)。概念漂移檢測(cè)技術(shù)用于解決數(shù)據(jù)流的動(dòng)態(tài)性問題，數(shù)據(jù)流集成分類具有較高的分類準(zhǔn)確率和概念漂移適應(yīng)能力而被廣泛地應(yīng)用到數(shù)據(jù)流分類中。但概念漂移檢測(cè)和集成分類處理通?；跀?shù)據(jù)流標(biāo)簽及時(shí)可用的假設(shè)，在實(shí)際應(yīng)用中這一假設(shè)很難成立。針對(duì)這些問題，本文做了以下三方面的工作:
　　(1)實(shí)現(xiàn)了基于simHash的數(shù)據(jù)流分層遺忘概要結(jié)構(gòu)（SH-HAS）。該結(jié)構(gòu)采用simHash算法獲取概要信息，并動(dòng)態(tài)調(diào)整SH-

3、HAS結(jié)構(gòu)，解決了重構(gòu)數(shù)據(jù)集與原數(shù)據(jù)集誤差較大的問題。實(shí)驗(yàn)證明，SH-HAS結(jié)構(gòu)具有更小的相對(duì)重構(gòu)誤差。
　　(2)改進(jìn)FKNNModel概念漂移檢測(cè)算法，提出了MFKNNModel概念漂移檢測(cè)算法。MFKNNModel利用數(shù)據(jù)的空間分布的改變來(lái)檢測(cè)數(shù)據(jù)流概念漂移，并利用Spark Streaming高效并行計(jì)算來(lái)提升算法的運(yùn)行效率，解決了FKNNModel算法中的人工干預(yù)及計(jì)算效率問題。實(shí)驗(yàn)效果表明，在缺乏人工干預(yù)的情況下，MF

4、KNNModel具有良好的概念漂移檢測(cè)能力和較高的運(yùn)行效率。
　　(3)提出了基于概念漂移的數(shù)據(jù)流集成分類模型(Ensemble Classifier Based onConcept-Drifting Data Stream，ECCDDS)。采用水平集成的方式生成基分類器，通過(guò)加權(quán)投票的方法對(duì)基分類器的分類結(jié)果進(jìn)行投票，生成集成分類器的分類結(jié)果;ECCDDS算法首先形成數(shù)據(jù)流的概要結(jié)構(gòu)，然后引入概念漂移檢測(cè)算法MFKNNModel