面向數據流的關聯規(guī)則挖掘精確度研究.pdf

1、當今時代是信息的時代是數字化的時代,隨著通信、互聯網的發(fā)展,社會各行各業(yè)存儲的數據越來越龐大,在這種背景下,一種新的數據形式——數據流引起了計算機從業(yè)人員的關注。如何在海洋一樣廣闊的數據流中準確的挖掘有價值的信息成為了數據挖掘研究工作新的挑戰(zhàn)。面向數據流的關聯規(guī)則挖掘是數據挖掘的新形式,近些年來的研究熱點,被廣泛的應用于網絡通信、設備維護、證券交易等領域,對于社會的生產和日常生活有著重要的意義。
　　 數據挖掘工作者對數據流的關

2、聯規(guī)則挖掘工作展開了大量的相關研究,對數據挖掘的思想、流程、算法提出了許多新的設計。然而這些方法大都把主要的研究工作放在了挖掘的過程、數據處理等方面,忽略了對于關聯規(guī)則挖掘結果精確度的關注,同時在對挖掘過程的設計中,對于數據準確性的研究也比較有限。數據挖掘的目的是獲得可信的、準確的、有價值的信息,由于在數據流環(huán)境下的挖掘只能夠得到近似的挖掘結果,因此,挖掘結果的精確度將是評價挖掘的關鍵指標。
　　 本文圍繞著提高挖掘結果精確度的

3、目的,提出了面向數據流的關聯規(guī)則挖掘的方法,在數據流的獲取、處理以及信息的發(fā)現等挖掘流程的設計過程中,從處理細節(jié)入手,將提高挖掘精確度的思想貫穿其中。本文對數據流關聯規(guī)則挖掘的工作主要分為三個部分的研究成果:數據獲取部分、數據存儲部分和數據挖掘部分,圍繞著如何提高挖掘精確度,對每一個部分的設計進行了詳細的描述。
　　 首先,在數據獲取部分提出了使用滑動時間窗口模型獲取數據,并按照每個窗口將數據流分割成為事務形式,這個模型既符合了

4、數據流的特點,又滿足了頻繁項集挖掘對數據的要求。
　　 其次,數據存儲模型由數據存儲結構、數據更新算法和最大誤差的選取三部分組成。通過對經典算法FP-growth算法中FP樹的改進,本文提出了一個新的數據存儲結構FP-Atree,這個存儲結構符合了只能一遍讀取數據的數據環(huán)境要求,節(jié)省了數據存儲空間,簡化了數據邏輯,壓縮了存儲體積。數據更新算法把整個數據存儲時間劃分為多個時間框,在時間框結束時對FP-Atree進行剪枝,刪除支持度

5、小于最大誤差的項集,從而保證了有限的空間資源的到充分的利用,避免了因為數據流的無邊界性而導致的存儲數據的無限擴張。
　　 第三部分為最大誤差的選取,研究中使用了多項式近似的策略,發(fā)現了最大誤差與環(huán)境資源參數之間的關系,既有效地控制了空間資源,又盡量避免了有效信息的丟失,為提高挖掘結果精確度提供了保障。數據挖掘模型的主要意義在于提高了挖掘精確度,在這一模型中本文提出了基于滑動時間窗口的新閾值,最小支持度閩值S經過修正,每個項集都有