基于增量存儲的商業(yè)數(shù)據(jù)流分類挖掘算法研究與應用.pdf

1、數(shù)據(jù)流挖掘目前已成為數(shù)據(jù)挖掘的熱點話題，如挖掘通信領域中的電話記錄數(shù)據(jù)流以期發(fā)現(xiàn)潛在的優(yōu)質(zhì)客戶、挖掘Web上的用戶點擊數(shù)據(jù)流、網(wǎng)絡監(jiān)測中的數(shù)據(jù)包流以期發(fā)現(xiàn)可能存在的黑客攻擊、挖掘零售業(yè)務中的交易數(shù)據(jù)流以期實現(xiàn)相關服務的推薦等。以上案例都是對動態(tài)商業(yè)數(shù)據(jù)流進行挖掘，與傳統(tǒng)數(shù)據(jù)的挖掘不同，商業(yè)數(shù)據(jù)流挖掘必須適應數(shù)據(jù)的海量、連續(xù)、突變、保密、快速處理及更新、僅讀取一次等特點。商業(yè)數(shù)據(jù)流的突變性引發(fā)了其所蘊含的概念隨著時間而變化的，正是由于隨時

2、間的持續(xù)變化，必然會導致概念模型的更新，進而引起概念漂移(Concept Drift)問題。數(shù)據(jù)流的以上特點使得數(shù)據(jù)流上的分類模型不同于傳統(tǒng)的分類模型，需要能夠快速的處理流入的數(shù)據(jù)，并且及時對模型進行調(diào)整以反映新的分類信息。
　　 本文在國內(nèi)外研究基礎上首先研究了數(shù)據(jù)流的存儲問題，提出了數(shù)據(jù)流的增量存儲結構——增量存儲樹；接著，研究了數(shù)據(jù)流中存在的概念漂移現(xiàn)象，提出了集成貝葉斯分類技術，以及基于2次方的增量存儲樹更新策略；最后，

3、通過上面的研究提出了基于增量存儲樹的數(shù)據(jù)流中隱含概念漂移的分類挖掘算法(CMCD-ST)，并以插件的形式開發(fā)了CMCD-ST應用程序。主要研究內(nèi)容包括：
　　 第一，對數(shù)據(jù)挖掘、數(shù)據(jù)挖掘的商業(yè)應用背景、數(shù)據(jù)流分類挖掘及其現(xiàn)有模型等相關理論進行研究，總結出目前該領域的最新研究成果，以期取其之長運用到商業(yè)數(shù)據(jù)流相關任務的挖掘上。
　　 第二，針對數(shù)據(jù)流的存儲進行研究?；趯ayesian算法的特性以及數(shù)據(jù)流的特性分析，本文

4、提出了動態(tài)增量存儲樹結構，該結構把以記錄為單位進行存儲的數(shù)據(jù)轉(zhuǎn)變?yōu)閷傩源鎯?，樹的大小是由屬性、屬性值和分類的類別數(shù)量決定的。由此數(shù)據(jù)流的存儲容量不是由記錄數(shù)決定的，而是由屬性、屬性值和分類的類別數(shù)量共同決定，從而解決了動態(tài)數(shù)據(jù)流挖掘最大的難題——數(shù)據(jù)存儲問題。
　　 第三，對數(shù)據(jù)流屬性間的多重線性相關等進行研究，采用自助抽樣技術對待分類數(shù)據(jù)中的屬性進行裁剪和優(yōu)化，解決了數(shù)據(jù)屬性間的多重線性相關問題。
　　 第四，針對數(shù)