基于Hadoop的并行關(guān)聯(lián)算法的研究.pdf

1、在大數(shù)據(jù)時(shí)代，數(shù)據(jù)作為公共組織、企業(yè)越來(lái)越重要的資產(chǎn)，正歷史性的改變著企業(yè)資產(chǎn)的發(fā)展進(jìn)程。作為數(shù)據(jù)挖掘的一個(gè)重要研究方向和技術(shù)，關(guān)聯(lián)規(guī)則旨在從大量數(shù)據(jù)中發(fā)現(xiàn)某些特征之間或者數(shù)據(jù)之間的相互依賴的關(guān)系。目前傳統(tǒng)關(guān)聯(lián)規(guī)則挖掘算法在處理大規(guī)模數(shù)據(jù)時(shí)可能面臨頻繁的I/O操作、計(jì)算量過(guò)大、時(shí)空消耗嚴(yán)重等問(wèn)題。隨著云計(jì)算平臺(tái)Hadoop充分的發(fā)展，關(guān)聯(lián)規(guī)則挖掘算法在分布式計(jì)算框架 MapReduce的實(shí)現(xiàn)將有著廣泛的應(yīng)用場(chǎng)景。
　　本文基于對(duì)關(guān)

2、聯(lián)規(guī)則算法基本概念及經(jīng)典算法的深入理解，在現(xiàn)有算法基礎(chǔ)上進(jìn)行改進(jìn)，提出R-SLI算法。該算法引入頻集樹(shù)概念，將對(duì)頻繁項(xiàng)目集的挖掘問(wèn)題轉(zhuǎn)化為挖掘滿足條件的子結(jié)點(diǎn)問(wèn)題，并改變了原算法對(duì)矩陣的使用方式，使得矩陣能夠保留數(shù)據(jù)庫(kù)的完整信息，避免了動(dòng)態(tài)更新階段因信息不足而重新查找數(shù)據(jù)庫(kù)的可能。在研究并行算法的設(shè)計(jì)策略后，本文對(duì)R-SLI算法實(shí)現(xiàn)了基于MapReduce計(jì)算框架的并行實(shí)現(xiàn)，提出了P-MT算法。算法根據(jù) MapReduce作業(yè)輸入輸出<