Hadoop下基于數(shù)量關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘研究.pdf

1、伴隨著大數(shù)據(jù)時(shí)代的到來，不僅數(shù)據(jù)規(guī)模變得龐大，數(shù)據(jù)種類變得多樣化，數(shù)據(jù)維度也在不斷增長。從海量、多類型、多維度的混合數(shù)據(jù)中挖掘出有價(jià)值的信息是信息化社會(huì)發(fā)展的趨勢(shì)。但是在海量、多類型、多維度數(shù)據(jù)基礎(chǔ)之上采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法已經(jīng)不能滿足在有限的時(shí)間內(nèi)完成要解決任務(wù)的要求。因此，必須尋求新的方法來解決此問題。目前，基于云計(jì)算的海量數(shù)據(jù)挖掘技術(shù)，已得到工業(yè)界和學(xué)術(shù)界的普遍認(rèn)可?；贏pache軟件開源組織Hadoop云計(jì)算平臺(tái)的數(shù)據(jù)挖掘技術(shù)

2、也成為了工業(yè)界和學(xué)術(shù)界共同關(guān)心的熱點(diǎn)技術(shù)之一。
　　本文在研究數(shù)據(jù)挖掘理論和Hadoop分布式技術(shù)基礎(chǔ)之上，利用Hadoop提供的MapReduce分布式計(jì)算模型，以分類型和數(shù)值型混合多維數(shù)據(jù)為基礎(chǔ)，以關(guān)聯(lián)規(guī)則和聚類分析為研究對(duì)象，實(shí)現(xiàn)了基于Hadoop云計(jì)算平臺(tái)的數(shù)據(jù)挖掘算法研究，主要完成了以下幾方面的工作:
　　1)針對(duì)分類型和數(shù)值型混合多維數(shù)據(jù)，提出了一種基于Hadoop的數(shù)據(jù)預(yù)處理架構(gòu)，實(shí)現(xiàn)了數(shù)據(jù)預(yù)處理方法和整體數(shù)據(jù)

3、處理流程。
　　2)通過對(duì)原始的和現(xiàn)有已改進(jìn)的并行化Apriori算法進(jìn)行研究，針對(duì)已改進(jìn)的MRARM算法存在處理海量多維數(shù)據(jù)效率低下的不足，提出了一種基于Hadoop的多維關(guān)聯(lián)規(guī)則算法—MDApriori算法。改進(jìn)的算法不僅克服了傳統(tǒng)Apriori算法需要多次重復(fù)掃描數(shù)據(jù)庫的瓶頸，而且通過一次性生成所有k-候選項(xiàng)集并作為全局變量，大大降低了生成k-候選項(xiàng)集的時(shí)間開銷，從而提高了算法效率。
　　3)為了進(jìn)一步得到直觀概括和便

4、于用戶使用的關(guān)聯(lián)規(guī)則，對(duì)得到的關(guān)聯(lián)結(jié)果進(jìn)行了聚類分析，提出了基于屬性信息熵的并行K-means算法—PK-meansAIE算法。該算法不僅可以對(duì)大量的關(guān)聯(lián)規(guī)則進(jìn)行很好的總結(jié)歸類，而且避免了由于初始聚類中心選取不合理帶來局部最優(yōu)解和聚類結(jié)果波動(dòng)性大的問題。
　　最后，在局域網(wǎng)內(nèi)，構(gòu)建了Hadoop分布式平臺(tái)，結(jié)合橋梁監(jiān)測(cè)數(shù)據(jù)對(duì)所改進(jìn)的MDApriori算法和PK-meansAIE算法的擴(kuò)展性、加速比和標(biāo)準(zhǔn)效率進(jìn)行對(duì)比分析。實(shí)驗(yàn)結(jié)果顯