基于Hadoop的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、數(shù)據(jù)挖掘近年來(lái)獲得了越來(lái)越多的廣泛關(guān)注。對(duì)大型的、復(fù)雜的、信息豐富的數(shù)據(jù)集進(jìn)行處理是所有機(jī)構(gòu)組織、企業(yè)、政府部門(mén)的共同需求。Hadoop提出一個(gè)非常有效和實(shí)用的工具為大數(shù)據(jù)分析，能解決大數(shù)據(jù)帶來(lái)的高容量、高速率和多樣性的三大挑戰(zhàn)。
　　本文研究了基于Hadoop平臺(tái)的數(shù)據(jù)挖掘算法：
　　1.Apriori算法的主要缺陷是頻繁掃描數(shù)據(jù)庫(kù)。為了解決這個(gè)問(wèn)題，本文通過(guò)分析MapReduce的并行思想，提出了基于Hadoop的Apr

2、iori改進(jìn)算法。
　?。?）用MapReduce類(lèi)似單詞計(jì)數(shù)的過(guò)程來(lái)并行掃描數(shù)據(jù)庫(kù)，減少了算法頻繁掃描數(shù)據(jù)庫(kù)的頻率；
　　（2）對(duì)map階段具有相同項(xiàng)、不同順序的項(xiàng)集進(jìn)行按字母排序后得出同一項(xiàng)集，簡(jiǎn)化了事務(wù)集。通過(guò)實(shí)驗(yàn)仿真比較了改進(jìn)的H-Apriori算法與傳統(tǒng)Apriori算法。
　　2.單機(jī)的邏輯回歸算法在處理大數(shù)據(jù)時(shí)需要很長(zhǎng)的運(yùn)行時(shí)間，為了解決這個(gè)問(wèn)題，本文通過(guò)分析邏輯回歸算法關(guān)鍵步驟并行的可能性，提出了基于H