基于相關性的數(shù)據(jù)流聚類及其應用研究.pdf

1、上世紀末,為適應網(wǎng)絡監(jiān)控、入侵檢測、情報分析、商業(yè)交易管理和分析等應用的要求,數(shù)據(jù)流技術(shù)應運而生.數(shù)據(jù)流是以連續(xù)的、有序的"流"的形式輸入數(shù)據(jù),有時效性、實時性、無限性和瞬時性等特點.典型的數(shù)據(jù)流有網(wǎng)絡點擊流、實時監(jiān)控數(shù)據(jù)流、股票數(shù)據(jù)流、超市的銷售數(shù)據(jù)流等.對數(shù)據(jù)流的分析主要包括分類、聚類和頻繁模式挖掘三個方面,其中都用到了一些新的技術(shù)和方法,如滑動窗口、一次性掃描算法等.本文在介紹數(shù)據(jù)流及數(shù)據(jù)流挖掘關鍵算法的基礎上,針對超市的銷售數(shù)據(jù)

2、流進行分析,提出了一種度量商品之間相關性的算法,進而提出了一種基于相關性的數(shù)據(jù)流聚類算法,對商品進行聚類分析. 本文的研究主要集中在以下幾個方面: (1)概述了數(shù)據(jù)挖掘及數(shù)據(jù)流的概念、數(shù)據(jù)流挖掘的關鍵技術(shù)及典型算法,重點分析了數(shù)據(jù)流分類算法VFDT和CVFDT、數(shù)據(jù)流聚類算法STREAM和CluStream、數(shù)據(jù)流頻繁模式挖掘算法FP-Stream等. (2)針對超市中商品之間的相關性問題,提出一種基于數(shù)據(jù)流的相

3、關性度量算法,以計算出商品間相關性的大小,利用數(shù)據(jù)流的一些方法,在有限的時間和空間里動態(tài)計算出基于持續(xù)到來的銷售數(shù)據(jù)流的商品之間的相關性.實驗顯示,該算法能以較小的代價有效地度量超市中商品之間的相關性. (3)針對超市中商品之間的聚類問題,提出一種基于相關性的數(shù)據(jù)流聚類算法,在前面計算出的商品之間相關性的基礎上對商品進行聚類.該算法是一個動態(tài)更新的算法,實驗顯示,該算法能有效地對超市的商品進行聚類,得到了非常有價值的聚類結(jié)果.