基于主動學(xué)習(xí)的數(shù)據(jù)流分類器研究.pdf

1、近年來，實時監(jiān)控系統(tǒng)、物聯(lián)網(wǎng)、Internet傳輸信息等環(huán)境產(chǎn)生了大量數(shù)據(jù)流，這類數(shù)據(jù)具有快速到達、海量潛在無限和概念漂移的特點。這些特點使得無法使
　　用傳統(tǒng)的數(shù)據(jù)分類方法進行分類，需要新的適用于數(shù)據(jù)流的分類方法。此外，在真實的數(shù)據(jù)流環(huán)境中，大量實例快速到達，而對實例進行標記是需要時間和成本的，這就使得及時獲得充足的標記數(shù)據(jù)是不現(xiàn)實的，此時如果用監(jiān)督學(xué)習(xí)的方法訓(xùn)練分類器將產(chǎn)生弱分類器。另外在真實環(huán)境中，有許多應(yīng)用需要快速地對大規(guī)

2、模的數(shù)據(jù)進行分類，而單機的分類器不能滿足此時的分類需求。
　　針對真實數(shù)據(jù)流環(huán)境中上述兩方面問題，本文提出了一種新穎的基于主動學(xué)習(xí)的數(shù)據(jù)流分類器，來解決標記數(shù)據(jù)不足而可能導(dǎo)致弱分類器的問題；并且基于免費、開源、分布式的實時計算系統(tǒng)Storm，提出一種可以快速地對大規(guī)模數(shù)據(jù)進行分類的數(shù)據(jù)流分類器。本文的主要工作與研究成果如下：
　　第一，研究了數(shù)據(jù)流分類相關(guān)的技術(shù)。首先介紹了數(shù)據(jù)挖掘的概念、過程以及功能。然后介紹了分類的概念、

3、一般過程以及經(jīng)典的分類算法。接著介紹了數(shù)據(jù)流的定義和特征，數(shù)據(jù)流的處理模型和常見的處理方法。最后介紹了數(shù)據(jù)流分類的一般過程、一些著名的數(shù)據(jù)流分類算法以及數(shù)據(jù)流分類器的評估標準。
　　第二，提出了一種新穎的基于主動學(xué)習(xí)的分類器 DCA。針對標記數(shù)據(jù)不足而可能導(dǎo)致弱分類器的問題，DCA在集成分類器之上用主動學(xué)習(xí)的方法，只提交小部分實例給專家進行人工標記。選擇的方法是依據(jù)分類時該實例的分類置信度，集成分類器對此實例的分類意見越統(tǒng)一，分類

4、置信度越高，反之則越小。認為分類置信度高的實例的預(yù)測類別很可能就是它的真實類別，而分類置信度低的實例的預(yù)測類別很可能不是真實類別，只需將分類置信度低的實例提交專家。通過時間分析，證實了DCA的有效性，并通過在仿真數(shù)據(jù)集和真實數(shù)據(jù)集上的實驗，驗證了DCA的正確性。
　　第三，提出了基于 Storm的分類器 RCL。真實數(shù)據(jù)流分類環(huán)境許多應(yīng)用需要快速地分類大規(guī)模數(shù)據(jù)。自行設(shè)計一個分布式的分類器不僅困難而且沒有必要，基于Hadoop的方