基于Spark平臺的協(xié)同過濾算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，大數(shù)據(jù)時代已經(jīng)到來。面對互聯(lián)網(wǎng)龐大而豐富的數(shù)據(jù)資源，如何從中獲取有價值的信息已經(jīng)成為一個急需解決的問題。個性化推薦系統(tǒng)的誕生就是為了解決這樣的信息過載問題，推薦系統(tǒng)可以根據(jù)用戶歷史行為數(shù)據(jù)挖掘出相關(guān)信息并主動給用戶做產(chǎn)品或服務(wù)推薦。在傳統(tǒng)的協(xié)同過濾推薦算法研究中，單機(jī)平臺需要耗費(fèi)大量的時間來處理海量的用戶行為數(shù)據(jù)，單機(jī)算法并行化是解決這個問題的一個方案。Spark是一個特別擅長于迭代式的機(jī)器學(xué)習(xí)運(yùn)算的基于內(nèi)存的

2、分布式計(jì)算框架，把需要重復(fù)迭代運(yùn)算的推薦算法在Spark平臺并行化實(shí)現(xiàn)，將大大縮短算法的運(yùn)行時間。
　　本論文基于Spark平臺對幾個協(xié)同過濾算法進(jìn)行了原理分析與并行化實(shí)現(xiàn)。首先對Spark平臺和常用推薦算法進(jìn)行了介紹，著重介紹了基于物品的協(xié)同過濾算法以及基于隱語義模型的協(xié)同過濾算法，為算法的并行化實(shí)現(xiàn)奠定基礎(chǔ)。對于基于物品的協(xié)同過濾算法，本論文基于Spark平臺實(shí)現(xiàn)了皮爾遜相關(guān)系數(shù)、修正的余弦相似度、加入偏置信息的相似度等幾種物

3、品相似度計(jì)算方法，對評分預(yù)測公式加入懲罰因子解決當(dāng)鄰域信息不足時評分預(yù)測精度降低的問題。對于基于隱語義模型的協(xié)同過濾算法，本論文使用交替最小二乘法求解矩陣分解問題，并利用Spark平臺的GraphX組件對用戶-物品關(guān)系建立二分圖模型，通過并行圖計(jì)算的方式交替更新用戶因子矩陣和物品因子矩陣，提高了算法的運(yùn)行效率。最后，本論文把基于物品的協(xié)同過濾算法和基于隱語義模型的協(xié)同過濾算法進(jìn)行模型融合，設(shè)計(jì)了一個用于融合多個協(xié)同過濾算法的線性模型，并

4、利用最小二乘法求解權(quán)重，根據(jù)數(shù)據(jù)自動訓(xùn)練出各個算法的重要程度，使得融合后的模型顯著降低了評分預(yù)測的誤差。
　　在公開數(shù)據(jù)集MovieLens上進(jìn)行多組對比實(shí)驗(yàn)表明，即使在單個節(jié)點(diǎn)上運(yùn)算，利用GraphX實(shí)現(xiàn)的基于交替最小二乘法的協(xié)同過濾算法運(yùn)行時間也遠(yuǎn)遠(yuǎn)少于傳統(tǒng)的單機(jī)算法實(shí)現(xiàn)。此外，對評分預(yù)測公式加入懲罰因子懲罰鄰域信息能夠提高基于物品的協(xié)同過濾算法評分預(yù)測的精度。最后，對兩個協(xié)同過濾算法進(jìn)行模型融合能在現(xiàn)有算法的基礎(chǔ)上進(jìn)一步提高