面向協(xié)同過濾推薦算法的均模型研究.pdf

1、隨著互聯(lián)網的飛速發(fā)展，近年來電子商務得到了迅猛發(fā)展，交易數(shù)據激劇增加，即使采用目前最有效的Hadoop、Spark等數(shù)據處理技術也仍然存在不少問題，例如一些在評測集上效果好的數(shù)據挖掘算法，或者難以實現(xiàn)，或者用于真實交易數(shù)據難以獲得理想效果。探索面向真實應用的大數(shù)據處理方法是目前急需解決的課題。
　　本文先對推薦系統(tǒng)的基本原理做了簡要介紹，并對當前應用最為廣泛的基于項目的協(xié)同過濾（Item-BasedCollaborative Fi

2、ltering，IBCF）算法作了深入的分析。然后，介紹了均模型對數(shù)據壓縮的基本原理，并面向協(xié)同過濾推薦算法對均模型進行了較為系統(tǒng)的研究。最后，通過實驗驗證了基于均模型的IBCF算法在MapReduce框架下的運行效果。具體來說，主要完成了如下四方面內容：
　　(1)協(xié)同過濾推薦算法評測研究
　　通過對協(xié)同過濾推薦算法的分析，發(fā)現(xiàn)計算任務主要集中在項目相似性計算階段，接著對各種項目相似性計算方法進行了評測，同時指出余弦相似性

3、計算方法精度最高。而后對推薦算法的不同評價指標進行了評測研究，分析了各個評價指標的評估價值。
　　(2)均模型及其改進研究
　　在本課題組對均模型的前期研究基礎上，對均模型的基本原理與性質進行了分析總結，并指出了原均模型對數(shù)據的處理存在分層模糊和信息失真的缺點。針對以上不足，提出了一種改進的均模型。改進的均模型在數(shù)據壓縮過程中，更好的體現(xiàn)了分層的思想，克服了信息失真問題。在應用于IBCF算法的實驗當中，改進的均模型有更理想的

4、效果。
　　(3)均模型的增量擴展研究
　　互聯(lián)網中的數(shù)據每天都在不斷地增長，各類數(shù)據應用系統(tǒng)必須不斷融入新增數(shù)據以保證系統(tǒng)的服務質量。例如推薦系統(tǒng)中每天都會有大量的新增數(shù)據產生，推薦系統(tǒng)必須及時將新增數(shù)據加入運算，從而保證推薦質量。本文以IBCF算法為應用背景，針對均模型的增量更新問題，提出了一種基于增量均模型的實現(xiàn)算法（Incremental Mean Model，Incremental MM）。Incremental

5、MM通過項目評分預統(tǒng)計為各項目建立評分統(tǒng)計映射表，較好地支持了均模型的增量轉換。在MovieLens數(shù)據集上的對比實驗結果表明，基于Incremental MM的IBCF算法增量更新效率較高，且推薦精度沒有損失。
　　(4)基于均模型IBCF算法的并行化實現(xiàn)
　　為評估均模型在大數(shù)據處理上的應用效果，本文基于MapReduce框架設計了基于均模型的IBCF算法，并基于Netflix數(shù)據集，在Hadoop集群上進行了實驗。實驗