面向大數(shù)據(jù)的高效數(shù)據(jù)挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是分析和處理數(shù)據(jù)的重要方法，它可以從數(shù)據(jù)中挖掘出有價值的信息，為決策者提供決策支持。近幾年來，隨著信息技術(shù)的發(fā)展，人們每天產(chǎn)生的數(shù)據(jù)量正以前所未有的速度增長和累積。巨大的數(shù)據(jù)量及復(fù)雜的數(shù)據(jù)類型，對已有的數(shù)據(jù)挖掘算法提出了新的挑戰(zhàn)。特別是大數(shù)據(jù)概念的提出，由于其具有數(shù)據(jù)量大、多樣性、高效性等特點，傳統(tǒng)的數(shù)據(jù)挖掘算法受限于內(nèi)存、效率、擴展性等因素而無法有效地處理大數(shù)據(jù)。如何更加高效地處理大數(shù)據(jù)，從中挖掘所需的信息，成為當(dāng)前研究大數(shù)據(jù)

2、的熱點。
　　目前，對大數(shù)據(jù)挖掘的研究，主要還是依賴于海量數(shù)據(jù)的處理技術(shù)。這些技術(shù)主要包括抽樣技術(shù)、增量式技術(shù)、分布式技術(shù)、云計算等。聚類分析在數(shù)據(jù)挖掘占有重要地位，在實際中有著廣泛的應(yīng)用。本文把面向大數(shù)據(jù)的聚類算法作為研究對象，重點研究了基于增量式的聚類算法和基于分布式的聚類算法。
　　在增量式聚類中，分析了單個數(shù)據(jù)塊的聚類結(jié)果質(zhì)量和數(shù)據(jù)塊之間聚類信息的傳遞對最終結(jié)果的影響，并提出了改進(jìn)方法，提高聚類精度。對于單個數(shù)據(jù)塊，

3、通過優(yōu)化初始聚類中心，來提高聚類結(jié)果質(zhì)量。對于數(shù)據(jù)塊之間信息的傳遞，通過選取多個傳遞點，以傳遞更加精確的信息。分布式聚類可以分為局部聚類階段和全局聚類階段。在現(xiàn)有的算法中，局部聚類階段數(shù)據(jù)塊之間幾乎沒有信息交流，容易出現(xiàn)局部聚類信息丟失的現(xiàn)象。本文通過向各數(shù)據(jù)塊傳遞所有局部聚類結(jié)果的方式，重新對各數(shù)據(jù)塊聚類，修正局部聚類結(jié)果，以得到更純的子類。全局聚類階段是對局部結(jié)果的合并，本文通過綜合考慮局部結(jié)果之間的距離差異性和分布差異性，改進(jìn)了合