面向協(xié)同過濾推薦算法的均模型研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，近年來電子商務(wù)得到了迅猛發(fā)展，交易數(shù)據(jù)激劇增加，即使采用目前最有效的Hadoop、Spark等數(shù)據(jù)處理技術(shù)也仍然存在不少問題，例如一些在評測集上效果好的數(shù)據(jù)挖掘算法，或者難以實(shí)現(xiàn)，或者用于真實(shí)交易數(shù)據(jù)難以獲得理想效果。探索面向真實(shí)應(yīng)用的大數(shù)據(jù)處理方法是目前急需解決的課題。
　　本文先對推薦系統(tǒng)的基本原理做了簡要介紹，并對當(dāng)前應(yīng)用最為廣泛的基于項(xiàng)目的協(xié)同過濾（Item-BasedCollaborative Fi

2、ltering，IBCF）算法作了深入的分析。然后，介紹了均模型對數(shù)據(jù)壓縮的基本原理，并面向協(xié)同過濾推薦算法對均模型進(jìn)行了較為系統(tǒng)的研究。最后，通過實(shí)驗(yàn)驗(yàn)證了基于均模型的IBCF算法在MapReduce框架下的運(yùn)行效果。具體來說，主要完成了如下四方面內(nèi)容：
　　(1)協(xié)同過濾推薦算法評測研究
　　通過對協(xié)同過濾推薦算法的分析，發(fā)現(xiàn)計(jì)算任務(wù)主要集中在項(xiàng)目相似性計(jì)算階段，接著對各種項(xiàng)目相似性計(jì)算方法進(jìn)行了評測，同時(shí)指出余弦相似性

3、計(jì)算方法精度最高。而后對推薦算法的不同評價(jià)指標(biāo)進(jìn)行了評測研究，分析了各個(gè)評價(jià)指標(biāo)的評估價(jià)值。
　　(2)均模型及其改進(jìn)研究
　　在本課題組對均模型的前期研究基礎(chǔ)上，對均模型的基本原理與性質(zhì)進(jìn)行了分析總結(jié)，并指出了原均模型對數(shù)據(jù)的處理存在分層模糊和信息失真的缺點(diǎn)。針對以上不足，提出了一種改進(jìn)的均模型。改進(jìn)的均模型在數(shù)據(jù)壓縮過程中，更好的體現(xiàn)了分層的思想，克服了信息失真問題。在應(yīng)用于IBCF算法的實(shí)驗(yàn)當(dāng)中，改進(jìn)的均模型有更理想的

4、效果。
　　(3)均模型的增量擴(kuò)展研究
　　互聯(lián)網(wǎng)中的數(shù)據(jù)每天都在不斷地增長，各類數(shù)據(jù)應(yīng)用系統(tǒng)必須不斷融入新增數(shù)據(jù)以保證系統(tǒng)的服務(wù)質(zhì)量。例如推薦系統(tǒng)中每天都會(huì)有大量的新增數(shù)據(jù)產(chǎn)生，推薦系統(tǒng)必須及時(shí)將新增數(shù)據(jù)加入運(yùn)算，從而保證推薦質(zhì)量。本文以IBCF算法為應(yīng)用背景，針對均模型的增量更新問題，提出了一種基于增量均模型的實(shí)現(xiàn)算法（Incremental Mean Model，Incremental MM）。Incremental

5、MM通過項(xiàng)目評分預(yù)統(tǒng)計(jì)為各項(xiàng)目建立評分統(tǒng)計(jì)映射表，較好地支持了均模型的增量轉(zhuǎn)換。在MovieLens數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果表明，基于Incremental MM的IBCF算法增量更新效率較高，且推薦精度沒有損失。
　　(4)基于均模型IBCF算法的并行化實(shí)現(xiàn)
　　為評估均模型在大數(shù)據(jù)處理上的應(yīng)用效果，本文基于MapReduce框架設(shè)計(jì)了基于均模型的IBCF算法，并基于Netflix數(shù)據(jù)集，在Hadoop集群上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)