基于Mahout的分布式視頻推薦系統(tǒng)的研究與實現(xiàn).pdf

1、近年來，由于計算機技術(shù)及互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，使得數(shù)據(jù)量越來越大，產(chǎn)生了信息過載的問題，為解決該問題，業(yè)界提出了一種被稱為推薦系統(tǒng)的解決方案。推薦是在海量信息中提取可能使用戶產(chǎn)生興趣的信息的一種手段。然而單機版的推薦系統(tǒng)已經(jīng)不能處理如今這樣大規(guī)模的數(shù)據(jù)量了，因此，推薦系統(tǒng)需要借助于云計算處理海量數(shù)據(jù)的能力才能解決問題。通過對現(xiàn)有視頻網(wǎng)站的調(diào)查研究，發(fā)現(xiàn)其大部分都存在信息過載的問題，用戶很難找到令他們喜歡的視頻，因此為滿足用戶的需求，視頻

2、網(wǎng)站急需擁有一個有效的推薦系統(tǒng)。
　　基于上述背景，結(jié)合已有的研究成果，同時根據(jù)實際需求，本文開展了如下工作:
　　(1)根據(jù)實際需求設(shè)計出一種適用于處理海量數(shù)據(jù)的系統(tǒng)架構(gòu)，具體分為三個部分:推薦引擎，日志系統(tǒng)和展示界面。這三個部分協(xié)調(diào)工作，采用離線數(shù)據(jù)處理和在線視頻推薦相結(jié)合的手段，能盡快響應(yīng)用戶需求，為用戶推薦其感興趣的視頻。
　　(2)研究Mahout已經(jīng)實現(xiàn)了的基于物品的分布式協(xié)同過濾算法，在對源碼進行研究的基

3、礎(chǔ)上，明確其實現(xiàn)推薦的原理與步驟。在此基礎(chǔ)之上，發(fā)現(xiàn)其不足之處，并對其加以改進，使得推薦結(jié)果的精度有所提高。并通過對開源數(shù)據(jù)集的計算，證明了它的可行性。
　　(3)通過仿真實驗，驗證了本文使用的算法與隨機推薦算法、推薦最熱門視頻算法相比具有更高的精度，并驗證了在TopN推薦中，選擇合適的列表長度有利于為用戶提供更精確的結(jié)果。
　　最后，通過一系列的測試工作驗證了本系統(tǒng)的正確性與可行性，證明該系統(tǒng)是解決目前視頻網(wǎng)站信息過載的一