基于MapReduce的協(xié)同過濾算法并行化研究.pdf

1、互聯(lián)網(wǎng)的迅猛發(fā)展將人們帶入了大數(shù)據(jù)時(shí)代，海量信息資源為人們帶來信息便捷的同時(shí)，也使人們不得不面對(duì)信息超載的問題。推薦系統(tǒng)是繼搜索引擎后又一種解決信息超載的有效手段，它通過搜集用戶的歷史信息對(duì)用戶的興趣建模，根據(jù)一定的推薦算法來為用戶產(chǎn)生推薦。協(xié)同過濾算法作為目前應(yīng)用于推薦系統(tǒng)最成功的技術(shù)，在學(xué)術(shù)研究和實(shí)際生產(chǎn)中取得了長(zhǎng)足的進(jìn)步。
　　針對(duì)大數(shù)據(jù)環(huán)境下協(xié)同過濾算法存在的稀疏性、推薦不準(zhǔn)確以及不能處理海量數(shù)據(jù)的問題，本文提出了一種分層

2、的聯(lián)合聚類協(xié)同過濾推薦算法(A Hierarchical Co-clustering Collaborative Filtering，簡(jiǎn)稱AHCCF)，并且結(jié)合Hadoop的MapReduce編程模式實(shí)現(xiàn)了算法的并行化，主要工作如下：
　　1.對(duì)推薦系統(tǒng)進(jìn)行了深入的研究，包括理論、原理、推薦技術(shù)，對(duì)比了各種推薦技術(shù)的優(yōu)劣，在此基礎(chǔ)上，對(duì)協(xié)同過濾技術(shù)做了詳細(xì)的分析和研究。
　　2.針對(duì)數(shù)據(jù)稀疏性對(duì)協(xié)同過濾相似性計(jì)算的影響以及推

3、薦結(jié)果不準(zhǔn)確的問題，在皮爾遜相關(guān)系數(shù)的基礎(chǔ)上，引入評(píng)分密集度、K-means聚類、聯(lián)合聚類、判斷矩陣、層次分析模型等理論，運(yùn)用層次分析模型結(jié)合用戶和項(xiàng)目的潛在類別，對(duì)協(xié)同過濾算法的相似性計(jì)算過程進(jìn)行改進(jìn)，提出了一種分層的聯(lián)合聚類協(xié)同過濾推薦算法(AHCCF)。采用MovieLens數(shù)據(jù)集進(jìn)行了一系列對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該算法能夠有效降低數(shù)據(jù)的稀疏性，提高推薦的準(zhǔn)確度。
　　3.研究了大數(shù)據(jù)處理框架Hadoop的運(yùn)行機(jī)制及其核心

4、組成——MapReduce編程模式，用MapReduce設(shè)計(jì)并實(shí)現(xiàn)K-means聚類算法和基于項(xiàng)目的協(xié)同過濾推薦算法，證明了這兩種算法的可并行化。
　　4.針對(duì)大數(shù)據(jù)對(duì)協(xié)同過濾推薦算法可擴(kuò)展性的影響，將這兩種并行化的算法應(yīng)用到一種分層的聯(lián)合聚類協(xié)同過濾推薦算法(AHCCF)中，實(shí)現(xiàn)了AHCCF算法的并行化，將并行化的算法部署在Hadoop集群上，有效地改善了算法吞吐量小和計(jì)算時(shí)間長(zhǎng)的問題。實(shí)驗(yàn)結(jié)果表明，并行化的AHCCF算法具備處