Hadoop下基于數量關聯規(guī)則的數據挖掘研究.pdf

1、伴隨著大數據時代的到來，不僅數據規(guī)模變得龐大，數據種類變得多樣化，數據維度也在不斷增長。從海量、多類型、多維度的混合數據中挖掘出有價值的信息是信息化社會發(fā)展的趨勢。但是在海量、多類型、多維度數據基礎之上采用傳統(tǒng)的機器學習算法已經不能滿足在有限的時間內完成要解決任務的要求。因此，必須尋求新的方法來解決此問題。目前，基于云計算的海量數據挖掘技術，已得到工業(yè)界和學術界的普遍認可。基于Apache軟件開源組織Hadoop云計算平臺的數據挖掘技術

2、也成為了工業(yè)界和學術界共同關心的熱點技術之一。
　　本文在研究數據挖掘理論和Hadoop分布式技術基礎之上，利用Hadoop提供的MapReduce分布式計算模型，以分類型和數值型混合多維數據為基礎，以關聯規(guī)則和聚類分析為研究對象，實現了基于Hadoop云計算平臺的數據挖掘算法研究，主要完成了以下幾方面的工作:
　　1)針對分類型和數值型混合多維數據，提出了一種基于Hadoop的數據預處理架構，實現了數據預處理方法和整體數據

3、處理流程。
　　2)通過對原始的和現有已改進的并行化Apriori算法進行研究，針對已改進的MRARM算法存在處理海量多維數據效率低下的不足，提出了一種基于Hadoop的多維關聯規(guī)則算法—MDApriori算法。改進的算法不僅克服了傳統(tǒng)Apriori算法需要多次重復掃描數據庫的瓶頸，而且通過一次性生成所有k-候選項集并作為全局變量，大大降低了生成k-候選項集的時間開銷，從而提高了算法效率。
　　3)為了進一步得到直觀概括和便

4、于用戶使用的關聯規(guī)則，對得到的關聯結果進行了聚類分析，提出了基于屬性信息熵的并行K-means算法—PK-meansAIE算法。該算法不僅可以對大量的關聯規(guī)則進行很好的總結歸類，而且避免了由于初始聚類中心選取不合理帶來局部最優(yōu)解和聚類結果波動性大的問題。
　　最后，在局域網內，構建了Hadoop分布式平臺，結合橋梁監(jiān)測數據對所改進的MDApriori算法和PK-meansAIE算法的擴展性、加速比和標準效率進行對比分析。實驗結果顯