基于Hadoop的分布式數(shù)據(jù)挖掘關鍵技術研究.pdf

1、隨著計算機技術在各個領域的深入發(fā)展，各種格式（圖片、音樂、影視和文檔等）的海量數(shù)據(jù)產(chǎn)生并存儲在數(shù)據(jù)庫中。從海量數(shù)據(jù)中挖掘有用的知識，并將這些知識應用于人類社會生產(chǎn)實踐中，成為信息產(chǎn)業(yè)界的一個關鍵任務。但是數(shù)據(jù)過多也帶來了一個問題：“數(shù)據(jù)豐富，信息匱乏”，從數(shù)據(jù)中發(fā)現(xiàn)知識的成本過高。需求推動技術的改變。分布式數(shù)據(jù)挖掘技術為這一問題提供了解決方案。
　　實現(xiàn)分布式數(shù)據(jù)挖掘系統(tǒng)的一項關鍵步驟就是將傳統(tǒng)的數(shù)據(jù)挖掘算法移植到分布式計算平臺中

2、。經(jīng)過幾十年的發(fā)展，分布式數(shù)據(jù)挖掘領域中涌現(xiàn)出各種各樣的算法，它們都是面對不同的需求，完成不同的任務。而將這些算法進行改進，使之能夠適應新的分布式環(huán)境，這是整個分布式數(shù)據(jù)挖掘的重要一步。。
　　近幾年，開源分布式系統(tǒng)Hadoop在國內外得到廣泛的應用，經(jīng)過多年的發(fā)展，也日漸成熟。它是實現(xiàn)分布式數(shù)據(jù)挖掘系統(tǒng)的一個絕佳平臺。
　　所以，本文針對數(shù)據(jù)挖掘的相關技術進行研究，對K-means++算法以及BP神經(jīng)網(wǎng)絡進行改進，使其有效

3、應用于分布式系統(tǒng)中，并提供了Hadoop平臺下的設計實現(xiàn)。本文的研工作包括以下兩個方面：
　　(1)K-means++算法根據(jù)概率對初始中心點進行選擇，相對于隨機選擇的方法更加科學，算法的效率也較傳統(tǒng)算法有了極大的提高。但是K-mean++算法本身的序列化特性導致其很難在分布式系統(tǒng)中實現(xiàn)，而且在計算距離時，忽略了不同屬性對聚類結果的影響的差異。本文改進了K-mesn++算法的迭代過程，使其能夠在Hadoop平臺上實現(xiàn)，也給出了改進

4、算法的MapReduce化偽碼。并且在計算距離的過程中，引入屬性權值的概念，使得重要的屬性能夠對結果產(chǎn)生更大的影響，提高聚類質量。實驗證明了改進算法的有效性和并行化能力。
　　(2)BP神經(jīng)網(wǎng)絡的權值和網(wǎng)絡結構需要人為設定，而它們又對網(wǎng)絡的分類結果有著至關重要的影響。取值不當會導致算法收斂很慢甚至不收斂，算法的結果也有可能只是局部最優(yōu)解。本文使用遺傳算法對網(wǎng)絡結構和初值進行預訓練，根據(jù)訓練出來的數(shù)據(jù)構造網(wǎng)絡。并對遺傳算法中的染色體