面向推薦的大數(shù)據(jù)計算與存儲平臺設計與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的來臨，信息爆炸式增長。在這個信息過載的互聯(lián)網(wǎng)環(huán)境下，用戶獲取感興趣信息的難度逐漸增大，如何讓用戶在海量數(shù)據(jù)信息中高效地獲取自己感興趣的信息成為了當前大數(shù)據(jù)行業(yè)的研究熱點。推薦系統(tǒng)為這個問題提供了解決方案，它是一種主動式消息推送系統(tǒng)，消息生產(chǎn)者通過在海量信息基礎上預測用戶的偏好，將消息主動推送給可能對信息感興趣的用戶。
　　由于需要海量信息來為用戶做興趣預測，推薦系統(tǒng)要處理的數(shù)據(jù)量是巨大的。為了快速滿足用戶對消息的需

2、求，推薦系統(tǒng)必須有大數(shù)據(jù)處理能力。第一代大數(shù)據(jù)處理框架Hadoop在過去幾年一直被國內(nèi)外推薦系統(tǒng)作為解決方案，但是隨著推薦算法的進步，Hadoop的MapReduce計算模型已經(jīng)難以滿足性能要求。Spark是最近幾年流行的新一代大數(shù)據(jù)處理框架，非常適合推薦算法，用Spark實現(xiàn)推薦系統(tǒng)的離線推薦與實時推薦將大大提高推薦系統(tǒng)性能。
　　本文以大數(shù)據(jù)推薦提供解決方案為目的，從推薦系統(tǒng)需要的計算服務和存儲服務這兩個層次進行了研究。計算層

3、次上，使用Spark設計實現(xiàn)離線推薦算法與實時推薦算法，且進行針對計算效率的優(yōu)化；存儲層次上在大數(shù)據(jù)存儲系統(tǒng)HDFS上集成糾刪碼，并提供MongoDB數(shù)據(jù)存儲等。具體的研究內(nèi)容包括：
　?。?）基于Spark編程模型，實現(xiàn)了基于ALS的離線推薦算法，并對Spark調(diào)度策略進行了優(yōu)化。在執(zhí)行離線計算任務中，發(fā)現(xiàn)在集群異構(gòu)情況下Spark調(diào)度策略不合理的問題，并提出了優(yōu)化的Spark調(diào)度策略：基于節(jié)點資源優(yōu)先級的調(diào)度策略。實驗結(jié)果表明

4、，基于節(jié)點資源優(yōu)先級的調(diào)度策略在離線計算情況下具有更優(yōu)的運行效率。
　?。?）提出一種快速的實時推薦算法，并基于Spark Streaming編程模型實現(xiàn)，而且進行了基于Spark Streaming的優(yōu)化。實時推薦算法的設計基于“用戶偏好隨時間不斷變化”的理論，每次執(zhí)行實時推薦時僅對用戶近期評分進行建模預測，極大地減少了計算數(shù)據(jù)量。在Spark Streaming實現(xiàn)算法時，通過設置多數(shù)據(jù)源獲取、數(shù)據(jù)重分片提高實時推薦的并行粒度

5、，并利用Spark broadcast變量機制節(jié)省算法執(zhí)行時間。實驗結(jié)果表明，本文實現(xiàn)的實時推薦系統(tǒng)擁有很好的數(shù)據(jù)實時處理能力。
　?。?）提出一種HDFS結(jié)合糾刪碼的存儲策略“先冗余、后編碼”，并設計了支持此存儲策略的HDFS with Erasure Code架構(gòu)。冗余備份存儲策略本身對磁盤空間消耗大但數(shù)據(jù)恢復簡單，而糾刪碼存儲策略雖然空間消耗小但是數(shù)據(jù)恢復困難，會影響大數(shù)據(jù)計算效率，所以對較長一段時間沒有處理的數(shù)據(jù)使用糾刪碼