數(shù)據(jù)挖掘算法的并行化研究及其應(yīng)用.pdf

1、由于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云計(jì)算、人工智能等技術(shù)與服務(wù)的流行，數(shù)據(jù)的規(guī)模、維度以及種類快速增長，我們已經(jīng)步入了大數(shù)據(jù)的大門。在大數(shù)據(jù)的世界里，數(shù)據(jù)成為了一種不可或缺的資源，并且傳統(tǒng)的串行數(shù)據(jù)挖掘算法已經(jīng)難以處理大數(shù)據(jù)帶來的問題，我們需要將傳統(tǒng)的串行化的數(shù)據(jù)挖掘算法進(jìn)行并行化改造以應(yīng)對(duì)大數(shù)據(jù)的需求。同時(shí)，大數(shù)據(jù)的出現(xiàn)加重了“信息過載”的問題，我們?yōu)榱藨?yīng)對(duì)“信息過載”的問題而推出了個(gè)性化推薦系統(tǒng)，它根據(jù)用戶的興趣自動(dòng)地向其推薦感興趣的物品。

2、r>　　本文根據(jù)大數(shù)據(jù)、MapReduce和推薦算法的特點(diǎn)，進(jìn)行了以下幾點(diǎn)研究：
　　(1)對(duì)數(shù)據(jù)挖掘算法的可并行性及條件進(jìn)行了深入的研究與分析。MapReduce并不適用于所有的數(shù)據(jù)挖掘任務(wù)，同樣，并非所有的數(shù)據(jù)挖掘任務(wù)都需要用到MapReduce并行化。適用于 MapReduce并行化的數(shù)據(jù)挖掘算法需要具備兩個(gè)條件：數(shù)據(jù)量要足夠大和數(shù)據(jù)較少更新。此外，并行化的數(shù)據(jù)挖掘算法要求算法可以被拆分為獨(dú)立單元，且這些獨(dú)立單元都能夠并行計(jì)

3、算。
　　(2)針對(duì)基本的k-means聚類算法在處理海量高維數(shù)據(jù)時(shí)的不足，提出了基于局部敏感哈希的MapReduce并行化的k-means聚類算法。該算法首先利用局部敏感哈希算法對(duì)數(shù)據(jù)進(jìn)行分區(qū)，選出能夠代表相似集的點(diǎn)來表示臨近的點(diǎn)，從而達(dá)到降低數(shù)據(jù)規(guī)模和算法迭代次數(shù)的目的，然后使用MapReduce并行化的k-means聚類算法對(duì)由局部敏感哈希算法生成的代表點(diǎn)集進(jìn)行聚類操作。
　　(3)針對(duì)推薦系統(tǒng)的可擴(kuò)展性和實(shí)時(shí)性問題以