基于hadoop大數(shù)據(jù)框架的個(gè)性化推薦系統(tǒng)研究與實(shí)現(xiàn).pdf

1、信息過載問題在當(dāng)今世界越來越突出，目前有三種比較成熟的處理方法，即網(wǎng)站導(dǎo)航、搜索引擎以及推薦系統(tǒng)。網(wǎng)站導(dǎo)航通過收錄著名網(wǎng)站并分門別類的方式解決信息過載問題。而搜索引擎通過為海量網(wǎng)頁建立索引的方式解決信息過載問題。但是當(dāng)用戶不能明確表述自己的需求時(shí)，前兩者就略顯無力了，而推薦系統(tǒng)就可以解決此類問題。推薦系統(tǒng)通過分析用戶歷史行為記錄，主動(dòng)為用戶推薦其潛在感興趣的內(nèi)容。但是隨著互聯(lián)網(wǎng)的高速發(fā)展，信息量也呈幾何倍數(shù)增加，傳統(tǒng)的推薦系統(tǒng)在海量數(shù)據(jù)

2、下容易遭遇計(jì)算瓶頸。此外傳統(tǒng)推薦系統(tǒng)未充分考慮用戶興趣多變且呈現(xiàn)一定的離散性的問題。
　　針對(duì)以上問題，本文參考以往推薦系統(tǒng)設(shè)計(jì)方案，以搜索引擎下圖書的個(gè)性化推薦系統(tǒng)為目標(biāo)，研究并實(shí)現(xiàn)一種基于潛在語義分析和分片聚類的混合推薦系統(tǒng)方案。并使用hadoop大數(shù)據(jù)處理框架解決推薦系統(tǒng)海量數(shù)據(jù)處理問題。本文首先研究搜索引擎下用戶行為數(shù)據(jù)采集方法。分析搜索引擎下用戶行為類型及其特性，針對(duì)各數(shù)據(jù)類型及其特性使用不同的數(shù)據(jù)采集方式以及標(biāo)準(zhǔn)化方法

3、，從而完成用戶行為數(shù)據(jù)采集工作。其次，針對(duì)搜索引擎下用戶行為獨(dú)特性和用戶興趣多變問題，提出潛在語義分析模型和分片聚類模型分別挖掘用戶行為大數(shù)據(jù)下的長(zhǎng)久興趣和即時(shí)興趣。其中，潛在語義分析推薦模型以內(nèi)容進(jìn)行推薦，可以緩解用戶和圖書冷啟動(dòng)問題，并提升系統(tǒng)推薦的覆蓋率。而基于分片聚類的協(xié)同過濾推薦模型中的將用戶行為按屬性和內(nèi)容分片，可以抽取出用戶不同時(shí)期的興趣，從而進(jìn)一步提升推薦性能，且推薦結(jié)果具有一定的新穎性。此外，針對(duì)分片聚類過程中搜索引擎

4、下用戶相似度計(jì)算問題，提出一種基于用戶檢索詞的改進(jìn)混合類型數(shù)據(jù)相似度計(jì)算方法。最后，基于Hadoop大數(shù)據(jù)處理框架研究用戶行為預(yù)處理以及推薦算法的并行化方法，完成搜索引擎下圖書的個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。
　　通過引入Hadoop大數(shù)據(jù)處理平臺(tái)，設(shè)計(jì)并行化的推薦算法，系統(tǒng)處理海量數(shù)據(jù)的能力有很大提升。通過基于潛在語義分析的推薦模型和分片聚類的推薦模型協(xié)同作用，搜索引擎下圖書的個(gè)性化推薦精準(zhǔn)度和覆蓋率也有一定改善。最后，通過系統(tǒng)測(cè)