基于Hadoop的數據挖掘技術研究.pdf

1、數據挖掘近年來獲得了越來越多的廣泛關注。對大型的、復雜的、信息豐富的數據集進行處理是所有機構組織、企業(yè)、政府部門的共同需求。Hadoop提出一個非常有效和實用的工具為大數據分析，能解決大數據帶來的高容量、高速率和多樣性的三大挑戰(zhàn)。
　　本文研究了基于Hadoop平臺的數據挖掘算法：
　　1.Apriori算法的主要缺陷是頻繁掃描數據庫。為了解決這個問題，本文通過分析MapReduce的并行思想，提出了基于Hadoop的Apr

2、iori改進算法。
　?。?）用MapReduce類似單詞計數的過程來并行掃描數據庫，減少了算法頻繁掃描數據庫的頻率；
　?。?）對map階段具有相同項、不同順序的項集進行按字母排序后得出同一項集，簡化了事務集。通過實驗仿真比較了改進的H-Apriori算法與傳統(tǒng)Apriori算法。
　　2.單機的邏輯回歸算法在處理大數據時需要很長的運行時間，為了解決這個問題，本文通過分析邏輯回歸算法關鍵步驟并行的可能性，提出了基于H