大數(shù)據(jù)模擬環(huán)境下的分布式協(xié)同過濾推薦系統(tǒng)的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，信息量呈海量增長，傳統(tǒng)的推薦系統(tǒng)已經(jīng)無法處理海量數(shù)據(jù)所帶來的大規(guī)模計算問題，而且傳統(tǒng)的集中式協(xié)同過濾推薦算法中數(shù)據(jù)和計算耦合性非常大，并且無法為用戶提供實時的、可靠的、可擴展的推薦服務(wù)，為解決這些問題，本文提出大數(shù)據(jù)模擬環(huán)境下基于相似用戶的分布式協(xié)同過濾推薦系統(tǒng)。使數(shù)據(jù)和相似度的計算都被分配到一個分布式集群的各個節(jié)點上，各節(jié)點相互協(xié)作完成共同的推薦任務(wù)。
　　首先，本文引入分布式Hash算法實現(xiàn)了數(shù)據(jù)的分布式

2、存儲，將原本集中存儲的用戶偏好數(shù)據(jù)擴展到分布式環(huán)境中，提升了系統(tǒng)存儲容量。同時提供一個快速的用戶偏好信息定位算法，為分布式系統(tǒng)的實時推薦奠定了理論實現(xiàn)基礎(chǔ)。
　　其次，提出了一個比較新穎的用戶相似度計算及更新算法，將原本計算和數(shù)據(jù)耦合度很高的協(xié)同過濾推薦算法分成put和getRecommendedItems兩個大的過程，能夠較好的適應(yīng)用戶相似度的更新以及計算的分布化。兩用戶之間的相似度采用用戶對相同項目的評分值的加權(quán)和得到，設(shè)定的

3、權(quán)值來源于兩個用戶對同一個項目的評分值之間的距離，從而將更多的用戶偏好信息納入計算范圍，提高了用戶相似度計算的準確性。由于新的相似度的計算方式不需要進行大量的數(shù)據(jù)移動，且相似度的計算在put階段完成，因此項目推薦能夠做到實時完成。
　　再次，本文的分布式系統(tǒng)被設(shè)計成能夠運行在普通廉價的PC機上，由于將組件的失效看做是一種常態(tài)而不是異常，因此本文將節(jié)點設(shè)計成可以在任何時候加入或者離開集群以支持集群的自穩(wěn)定性。同時，針對相似度計算的過