面向海量數(shù)據(jù)的快速挖掘算法研究.pdf

1、數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先未知的、但又是潛在有用的信息和知識(shí)的過(guò)程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長(zhǎng)，動(dòng)輒以TB計(jì)算，如何從海量的數(shù)據(jù)中提取有用的信息已經(jīng)成為必須解決的問(wèn)題。針對(duì)海量數(shù)據(jù)的挖掘，分布式并行處理和增量式處理是有效的解決方案。
　　云計(jì)算是一種新興的共享基礎(chǔ)架構(gòu)的計(jì)算模型，它擅長(zhǎng)處理大規(guī)模數(shù)據(jù)和進(jìn)行大規(guī)模計(jì)算，它是分布式計(jì)算的延伸和拓展，并行

2、和分布是云計(jì)算的關(guān)鍵。因此本文結(jié)合云計(jì)算，以關(guān)聯(lián)規(guī)則的增量挖掘?yàn)榍腥朦c(diǎn)，提出解決海量數(shù)據(jù)快速挖掘的新思路。
　　本文介紹了數(shù)據(jù)挖掘的定義、功能、步驟和挑戰(zhàn)，重點(diǎn)分析了關(guān)聯(lián)規(guī)則挖掘算法；介紹了云計(jì)算的概念、特點(diǎn)、形式和關(guān)鍵技術(shù)，重點(diǎn)分析了典型的云計(jì)算平臺(tái)Hadoop的分布式文件系統(tǒng)HDFS和并行編程模型MapReduce的實(shí)現(xiàn)原理。在此基礎(chǔ)上，重點(diǎn)研究了關(guān)聯(lián)規(guī)則挖掘中大頻繁項(xiàng)目集的并行化挖掘算法，提出了基于云計(jì)算的快速關(guān)聯(lián)規(guī)則增量挖

3、掘算法C-FUP（CloudComputingBasedFUP）；以提高并行化效率為目標(biāo)，對(duì)Hadoop中HDFS的數(shù)據(jù)集分配方法進(jìn)行改進(jìn)，設(shè)計(jì)了一種能根據(jù)集群中異構(gòu)節(jié)點(diǎn)的計(jì)算性能進(jìn)行數(shù)據(jù)集分配的方法DAMBNP（DatasetAllocationMethodBasedonNodePerformance）；并對(duì)Hadoop的性能進(jìn)行分析，針對(duì)其對(duì)大量小文件的處理能力不足的問(wèn)題提出了解決思路。
　　為了驗(yàn)證所提出的算法和方法的有效性