含有限類標數(shù)據(jù)的數(shù)據(jù)流分類算法研究.pdf

1、隨著網(wǎng)絡技術的日益普及和飛速發(fā)展,許多像實時監(jiān)控系統(tǒng)、通信網(wǎng)絡和無線傳感器網(wǎng)絡等新的領域產(chǎn)生了海量的、實時連續(xù)的且動態(tài)變化的數(shù)據(jù),這些數(shù)據(jù)在學術領域被稱作數(shù)據(jù)流。對于這種數(shù)據(jù),顯然不能使用傳統(tǒng)的挖掘方法進行分析和研究,需要針對數(shù)據(jù)流的挖掘研究新的方法。數(shù)據(jù)流分類是數(shù)據(jù)流挖掘領域一項非常重要的技術,首先需要對大量已標記數(shù)據(jù)樣本進行學習,然后從中提取知識并用來對未知數(shù)據(jù)進行預測。由于這些數(shù)據(jù)樣本中隱含的概念和知識有可能會隨著時間和環(huán)境不斷的

2、發(fā)生變化,即存在著概念漂移,因此一個好的數(shù)據(jù)流分類算法不僅需要在有限的響應時間和內(nèi)存下完成高精度的分類任務,并且要能有效地處理概念漂移。
　　已研究的數(shù)據(jù)流分類算法大部分都是有監(jiān)督學習,用來訓練的數(shù)據(jù)都必須是帶類標的,然而對數(shù)據(jù)進行標記需要花費大量的時間和財力物力,也許聚類算法不存在這樣的苦惱,但是聚類分析沒有關注到數(shù)據(jù)流中的少量有標記樣本,從而降低了算法的準確度。針對上述問題,本文主要選取“含有限類標數(shù)據(jù)的數(shù)據(jù)流分類”這個視覺進

3、行研究,提出了兩種數(shù)據(jù)流分類算法SKAOGClass和SMEClass。算法SKAOGClass是一種增量式的分類算法,它選用一種特殊的K-關聯(lián)圖來表示數(shù)據(jù)樣本間的拓撲結構和相似性,從而可以進行類別區(qū)分,算法以K-關聯(lián)最優(yōu)圖作為基礎模型,為K-關聯(lián)最優(yōu)圖設計了半監(jiān)督的構造方法,并用這種半監(jiān)督K-關聯(lián)最優(yōu)圖方法來構造基礎分類器,從而避免了算法受參數(shù)設置的影響,當新的樣本到來時,將其轉換為頂點,并與構造好的主圖進行預連接,再使用貝葉斯理論來

4、估計未知數(shù)據(jù)的類標。算法SMEClass則是結合橫向集成和縱向集成各自的優(yōu)勢,選用決策樹分類器和貝葉斯分類器作為基分類器構造一種集成模型,在新數(shù)據(jù)塊上先根據(jù)已有標記數(shù)據(jù)訓練決策樹分類器,再根據(jù)它和集成分類器中的K個分類器對未標記數(shù)據(jù)進行投票標記,最后根據(jù)新構建的分類器更新集成分類器,模型中的貝葉斯分類器是用來監(jiān)督數(shù)據(jù)標記過程的,它可以過濾掉噪音數(shù)據(jù)。在人工合成數(shù)據(jù)集和真實數(shù)據(jù)集上的實驗表明,SKAOGClass算法和SMEClass算法