基于MapReduce的協(xié)同過濾算法并行化研究.pdf

1、互聯(lián)網的迅猛發(fā)展將人們帶入了大數據時代，海量信息資源為人們帶來信息便捷的同時，也使人們不得不面對信息超載的問題。推薦系統(tǒng)是繼搜索引擎后又一種解決信息超載的有效手段，它通過搜集用戶的歷史信息對用戶的興趣建模，根據一定的推薦算法來為用戶產生推薦。協(xié)同過濾算法作為目前應用于推薦系統(tǒng)最成功的技術，在學術研究和實際生產中取得了長足的進步。
　　針對大數據環(huán)境下協(xié)同過濾算法存在的稀疏性、推薦不準確以及不能處理海量數據的問題，本文提出了一種分層

2、的聯(lián)合聚類協(xié)同過濾推薦算法(A Hierarchical Co-clustering Collaborative Filtering，簡稱AHCCF)，并且結合Hadoop的MapReduce編程模式實現(xiàn)了算法的并行化，主要工作如下：
　　1.對推薦系統(tǒng)進行了深入的研究，包括理論、原理、推薦技術，對比了各種推薦技術的優(yōu)劣，在此基礎上，對協(xié)同過濾技術做了詳細的分析和研究。
　　2.針對數據稀疏性對協(xié)同過濾相似性計算的影響以及推

3、薦結果不準確的問題，在皮爾遜相關系數的基礎上，引入評分密集度、K-means聚類、聯(lián)合聚類、判斷矩陣、層次分析模型等理論，運用層次分析模型結合用戶和項目的潛在類別，對協(xié)同過濾算法的相似性計算過程進行改進，提出了一種分層的聯(lián)合聚類協(xié)同過濾推薦算法(AHCCF)。采用MovieLens數據集進行了一系列對比實驗，實驗結果表明，該算法能夠有效降低數據的稀疏性，提高推薦的準確度。
　　3.研究了大數據處理框架Hadoop的運行機制及其核心

4、組成——MapReduce編程模式，用MapReduce設計并實現(xiàn)K-means聚類算法和基于項目的協(xié)同過濾推薦算法，證明了這兩種算法的可并行化。
　　4.針對大數據對協(xié)同過濾推薦算法可擴展性的影響，將這兩種并行化的算法應用到一種分層的聯(lián)合聚類協(xié)同過濾推薦算法(AHCCF)中，實現(xiàn)了AHCCF算法的并行化，將并行化的算法部署在Hadoop集群上，有效地改善了算法吞吐量小和計算時間長的問題。實驗結果表明，并行化的AHCCF算法具備處