云計算環(huán)境下的協(xié)同過濾算法研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時代的發(fā)展，大量的信息數(shù)據(jù)在不斷產(chǎn)生。個性化推薦幫助用戶從海量數(shù)據(jù)中篩選出需求的數(shù)據(jù)，為了使用戶獲得更好的推薦體驗，如何優(yōu)化推薦就成為推薦領(lǐng)域的研究熱點。協(xié)同過濾算法是推薦領(lǐng)域中常用的一種技術(shù)，它可以方便用戶獲得較精準(zhǔn)的個性化推薦結(jié)果。但由于推薦算法的數(shù)據(jù)稀疏性問題和擴展性問題，導(dǎo)致協(xié)同過濾算法的推薦效果不佳以及算法在傳統(tǒng)單機上運行困難。所以本文采用在云計算環(huán)境里，用一種新的混合推薦算法進行解決。
　　在本文的混合協(xié)同過

2、濾算法中，本文對基于內(nèi)存的協(xié)同過濾算法提出改進。首先是相似度的改進，Pearson相關(guān)系數(shù)是傳統(tǒng)協(xié)同過濾算法中常用的一種相似度計算方法，但由于該方法存在著這樣的一個問題：當(dāng)共同評分項越小，則Pearson系數(shù)反而越大。針對這一問題，本文使用共同評分項目個數(shù)與最多的用戶評分項目的個數(shù)比值，對傳統(tǒng)的皮爾遜相關(guān)系數(shù)進行加權(quán)，得到新的相似度計算公式。然后在本文算法中引進參數(shù)θ。因在數(shù)據(jù)稀疏的情況下，最近鄰居集中會出現(xiàn)這樣一種情況：兩用戶或項目間

3、的共同評分項很少，且兩者中，一個的評分項個數(shù)遠遠大于共同評分項個數(shù)。這在推薦算法中，將導(dǎo)致預(yù)測出一些多余且不可靠的評分項。所以將共同評分個數(shù)與最多的評分項目個數(shù)的一個比值θ，作為判斷是否為最近鄰居。最后本文的混合協(xié)同過濾算法框架的設(shè)計，將最近鄰居個數(shù)作為判斷，是否把基于項目的推薦結(jié)果填充基于用戶的預(yù)測結(jié)果中。
　　此外，本文還實現(xiàn)了混合協(xié)同過濾算法分布式化。Hadoop云計算平臺是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，它具有

4、可靠的、高效的、可伸縮的特點。該Hadoop云計算平臺完全可以支撐推薦算法對海量數(shù)據(jù)的計算需求。但 Hadoop的MapReduce編程模型不同于以往其他的編程形式。所以本文將算法的分布式實現(xiàn)分解成一系列的MapReduce過程，具體分為數(shù)據(jù)集的預(yù)處理模塊、基于用戶的算法模塊和基于項目的算法模塊3部分。通過模塊的整合更好地實現(xiàn)混合協(xié)同過濾算法分布式化。
　　為了驗證算法的推薦效果，本文將Grouplen提供的Movielens數(shù)據(jù)