面向推薦的大數(shù)據(jù)計(jì)算與存儲(chǔ)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，信息爆炸式增長(zhǎng)。在這個(gè)信息過(guò)載的互聯(lián)網(wǎng)環(huán)境下，用戶獲取感興趣信息的難度逐漸增大，如何讓用戶在海量數(shù)據(jù)信息中高效地獲取自己感興趣的信息成為了當(dāng)前大數(shù)據(jù)行業(yè)的研究熱點(diǎn)。推薦系統(tǒng)為這個(gè)問(wèn)題提供了解決方案，它是一種主動(dòng)式消息推送系統(tǒng)，消息生產(chǎn)者通過(guò)在海量信息基礎(chǔ)上預(yù)測(cè)用戶的偏好，將消息主動(dòng)推送給可能對(duì)信息感興趣的用戶。
　　由于需要海量信息來(lái)為用戶做興趣預(yù)測(cè)，推薦系統(tǒng)要處理的數(shù)據(jù)量是巨大的。為了快速滿足用戶對(duì)消息的需

2、求，推薦系統(tǒng)必須有大數(shù)據(jù)處理能力。第一代大數(shù)據(jù)處理框架Hadoop在過(guò)去幾年一直被國(guó)內(nèi)外推薦系統(tǒng)作為解決方案，但是隨著推薦算法的進(jìn)步，Hadoop的MapReduce計(jì)算模型已經(jīng)難以滿足性能要求。Spark是最近幾年流行的新一代大數(shù)據(jù)處理框架，非常適合推薦算法，用Spark實(shí)現(xiàn)推薦系統(tǒng)的離線推薦與實(shí)時(shí)推薦將大大提高推薦系統(tǒng)性能。
　　本文以大數(shù)據(jù)推薦提供解決方案為目的，從推薦系統(tǒng)需要的計(jì)算服務(wù)和存儲(chǔ)服務(wù)這兩個(gè)層次進(jìn)行了研究。計(jì)算層

3、次上，使用Spark設(shè)計(jì)實(shí)現(xiàn)離線推薦算法與實(shí)時(shí)推薦算法，且進(jìn)行針對(duì)計(jì)算效率的優(yōu)化；存儲(chǔ)層次上在大數(shù)據(jù)存儲(chǔ)系統(tǒng)HDFS上集成糾刪碼，并提供MongoDB數(shù)據(jù)存儲(chǔ)等。具體的研究?jī)?nèi)容包括：
　?。?）基于Spark編程模型，實(shí)現(xiàn)了基于ALS的離線推薦算法，并對(duì)Spark調(diào)度策略進(jìn)行了優(yōu)化。在執(zhí)行離線計(jì)算任務(wù)中，發(fā)現(xiàn)在集群異構(gòu)情況下Spark調(diào)度策略不合理的問(wèn)題，并提出了優(yōu)化的Spark調(diào)度策略：基于節(jié)點(diǎn)資源優(yōu)先級(jí)的調(diào)度策略。實(shí)驗(yàn)結(jié)果表明

4、，基于節(jié)點(diǎn)資源優(yōu)先級(jí)的調(diào)度策略在離線計(jì)算情況下具有更優(yōu)的運(yùn)行效率。
　?。?）提出一種快速的實(shí)時(shí)推薦算法，并基于Spark Streaming編程模型實(shí)現(xiàn)，而且進(jìn)行了基于Spark Streaming的優(yōu)化。實(shí)時(shí)推薦算法的設(shè)計(jì)基于“用戶偏好隨時(shí)間不斷變化”的理論，每次執(zhí)行實(shí)時(shí)推薦時(shí)僅對(duì)用戶近期評(píng)分進(jìn)行建模預(yù)測(cè)，極大地減少了計(jì)算數(shù)據(jù)量。在Spark Streaming實(shí)現(xiàn)算法時(shí)，通過(guò)設(shè)置多數(shù)據(jù)源獲取、數(shù)據(jù)重分片提高實(shí)時(shí)推薦的并行粒度

5、，并利用Spark broadcast變量機(jī)制節(jié)省算法執(zhí)行時(shí)間。實(shí)驗(yàn)結(jié)果表明，本文實(shí)現(xiàn)的實(shí)時(shí)推薦系統(tǒng)擁有很好的數(shù)據(jù)實(shí)時(shí)處理能力。
　?。?）提出一種HDFS結(jié)合糾刪碼的存儲(chǔ)策略“先冗余、后編碼”，并設(shè)計(jì)了支持此存儲(chǔ)策略的HDFS with Erasure Code架構(gòu)。冗余備份存儲(chǔ)策略本身對(duì)磁盤空間消耗大但數(shù)據(jù)恢復(fù)簡(jiǎn)單，而糾刪碼存儲(chǔ)策略雖然空間消耗小但是數(shù)據(jù)恢復(fù)困難，會(huì)影響大數(shù)據(jù)計(jì)算效率，所以對(duì)較長(zhǎng)一段時(shí)間沒(méi)有處理的數(shù)據(jù)使用糾刪碼