面向數(shù)據(jù)流挖掘的分類和聚類算法研究.pdf

1、隨著計(jì)算機(jī)軟硬件技術(shù)的飛速發(fā)展以及日益大眾化，各個(gè)領(lǐng)域的數(shù)據(jù)呈爆炸式增長(zhǎng)，數(shù)據(jù)的廣泛使用和巨大數(shù)量使得我們的時(shí)代成為真正的數(shù)據(jù)時(shí)代。通常情況下，這些數(shù)據(jù)是以數(shù)據(jù)流的形式產(chǎn)生和積累的。相對(duì)于傳統(tǒng)的靜態(tài)數(shù)據(jù)集，數(shù)據(jù)流具有數(shù)據(jù)量大、隨時(shí)間不斷發(fā)生動(dòng)態(tài)變化、連續(xù)快速等特點(diǎn)，這就要求流入系統(tǒng)的數(shù)據(jù)流必須得到實(shí)時(shí)處理。因此，傳統(tǒng)的數(shù)據(jù)挖掘算法無(wú)法直接應(yīng)用于數(shù)據(jù)流之上。數(shù)據(jù)流的特點(diǎn)向傳統(tǒng)的數(shù)據(jù)挖掘算法提出了嚴(yán)峻挑戰(zhàn)，并對(duì)數(shù)據(jù)流挖掘算法提出了如下要求:

2、首先，算法需要對(duì)到達(dá)系統(tǒng)的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，因?yàn)閿?shù)據(jù)流的到達(dá)速率非?？欤虼?，算法的時(shí)間復(fù)雜度盡量要低;再者，由于數(shù)據(jù)流的數(shù)據(jù)規(guī)模通常較大，而計(jì)算機(jī)系統(tǒng)內(nèi)存空間有限，不可能存儲(chǔ)全部的數(shù)據(jù)信息，因此，算法的空間復(fù)雜度要低，使得能在一個(gè)僅保存部分?jǐn)?shù)據(jù)樣本的受限存儲(chǔ)空間中得到此問(wèn)題的近似最優(yōu)解;此外，由于數(shù)據(jù)流的流動(dòng)性，到達(dá)數(shù)據(jù)會(huì)隨時(shí)間不斷發(fā)生變化，算法必須能夠根據(jù)數(shù)據(jù)流的動(dòng)態(tài)變化來(lái)自動(dòng)調(diào)節(jié)自身參數(shù)設(shè)置，使自身能夠適應(yīng)數(shù)據(jù)流的變化。因此，如何

3、在數(shù)據(jù)流中提取出有用的信息成為當(dāng)前數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)和難點(diǎn)。
　　本文首先對(duì)數(shù)據(jù)流挖掘的理論基礎(chǔ)以及一些相關(guān)的主流技術(shù)進(jìn)行了概述，然后從數(shù)據(jù)流分類、聚類以及頻繁模式挖掘三個(gè)角度分別介紹了一些現(xiàn)有的數(shù)據(jù)流挖掘算法，并在此基礎(chǔ)上分別實(shí)現(xiàn)了兩類不平衡分布數(shù)據(jù)流的分類算法和基于密度網(wǎng)格的數(shù)據(jù)流聚類算法。主要研究?jī)?nèi)容包括：⑴對(duì)當(dāng)前基于數(shù)據(jù)流的分類算法進(jìn)行了分析。針對(duì)兩類數(shù)據(jù)流分布不平衡的問(wèn)題和概念漂移現(xiàn)象，在結(jié)合當(dāng)前經(jīng)典的數(shù)據(jù)流分類算法

4、和集成分類器算法的優(yōu)點(diǎn)后，設(shè)計(jì)并實(shí)現(xiàn)了一種具有更好適應(yīng)性的SeRt算法。實(shí)驗(yàn)結(jié)果表明，該算法能有效地解決兩類不平衡分布問(wèn)題和數(shù)據(jù)流中存在的概念漂移現(xiàn)象。⑵在傳統(tǒng)聚類算法K-Means、數(shù)據(jù)流聚類核心技術(shù)----CluStream框架模型以及現(xiàn)有的數(shù)據(jù)流聚類算法PKS-Stream的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了基于密度和網(wǎng)格的數(shù)據(jù)流聚類算法PKS-Stream-I。該算法是對(duì)PKS-Stream算法在密度檢測(cè)周期選擇，稀疏網(wǎng)格檢測(cè)和移除方面的改進(jìn)