商業(yè)數(shù)據(jù)流頻繁模式挖掘算法研究與應(yīng)用.pdf

1、隨著知識經(jīng)濟(jì)時代的來臨，信息與知識已經(jīng)成為國家和企業(yè)發(fā)展的重要戰(zhàn)略資源，是提高一個組織乃至一個國家戰(zhàn)略競爭力的核心，也是實施科學(xué)管理與決策的基礎(chǔ)。如何獲取信息與發(fā)現(xiàn)知識，尤其是如何快速高效地在動態(tài)變化和爆炸性增長的海量數(shù)據(jù)流中獲取信息和發(fā)現(xiàn)知識就成了關(guān)鍵性問題。 與傳統(tǒng)數(shù)據(jù)不同，數(shù)據(jù)流具有大量、快速連續(xù)到達(dá)、要求快速響應(yīng)、一次掃描等特點。而商業(yè)數(shù)據(jù)流除了具備數(shù)據(jù)流的基本特點外，還具備連續(xù)性、沖突性、時間性、海量性和分布性等特性。

2、因此傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)不能直接應(yīng)用到商業(yè)數(shù)據(jù)流上。利用有限系統(tǒng)資源對商業(yè)數(shù)據(jù)流進(jìn)行快速處理以獲取有用信息，為數(shù)據(jù)挖掘在商業(yè)領(lǐng)域的應(yīng)用研究帶來了新的機(jī)遇和挑戰(zhàn)。 頻繁模式挖掘是數(shù)據(jù)挖掘領(lǐng)域的一個基本問題，研究內(nèi)容一般包括事務(wù)、序列、樹和圖。其方法被廣泛應(yīng)用于許多其它數(shù)據(jù)挖掘任務(wù)中，如相關(guān)性分析，序列周期分析，最大頻繁模式，閉合頻繁模式，查詢，分類等等。由于問題本身的基礎(chǔ)性和內(nèi)在復(fù)雜性，頻繁模式挖掘方法成為許多研究者關(guān)注的課題。

3、 本文對商業(yè)數(shù)據(jù)流頻繁模式挖掘相關(guān)技術(shù)進(jìn)行了研究。重點研究了以下幾個問題：商業(yè)數(shù)據(jù)流的層次維度結(jié)構(gòu)分析及其挖掘系統(tǒng)的研究；利用靜態(tài)前窺樹高效挖掘最大頻繁模式和閉合頻繁模式；利用增量式挖掘方式和傾斜時間窗口分別挖掘商業(yè)數(shù)據(jù)流中的最大模式和閉合模式；頻繁模式算法在商業(yè)領(lǐng)域的實際應(yīng)用問題等。本文研究內(nèi)容和創(chuàng)新工作主要包括以下幾個方面：首先，對數(shù)據(jù)流挖掘及其模型等相關(guān)理論進(jìn)行研究，總結(jié)出目前該領(lǐng)域的最新研究成果，以期取其之長運用到商業(yè)數(shù)據(jù)流

4、相關(guān)任務(wù)的挖掘上。 接著，提煉出商業(yè)數(shù)據(jù)流的概念及特點，分析商業(yè)數(shù)據(jù)流的內(nèi)容層次和類型維度結(jié)構(gòu)，并以此構(gòu)建出商業(yè)數(shù)據(jù)流管理系統(tǒng)BDSMS。 然后，針對靜態(tài)商業(yè)數(shù)據(jù)海量等特點，設(shè)計并實現(xiàn)最大頻繁模式挖掘算法MFP和閉合頻繁模式算法CFP。其中采取前饋剪枝、合并等策略修剪頻繁模式樹以提高頻繁模式構(gòu)成速度。在此基礎(chǔ)上，針對時間序列模型和收銀機(jī)模型，改進(jìn)靜態(tài)的頻繁模式挖掘算法MFP和CFP，分別引入增量式挖掘和傾斜時間窗口得出商