協(xié)同過濾推薦算法稀疏性與可擴(kuò)展性問題研究.pdf

1、隨著社會(huì)從 IT時(shí)代邁向 DT時(shí)代，人們每天面對(duì)的信息呈爆炸般增長(zhǎng)，信息過載已經(jīng)成為困擾行業(yè)發(fā)展的一大阻礙。特別是在電子商務(wù)領(lǐng)域，面對(duì)琳瑯滿目的商品，用戶卻不得不花費(fèi)更多的時(shí)間來尋找自己中意的商品。推薦系統(tǒng)的發(fā)展有效彌補(bǔ)了這種缺陷，其中協(xié)同過濾推薦算法的研究更是取得了巨大成功。但是隨著商品越來越多，用戶-項(xiàng)目評(píng)分矩陣越變?cè)较∈瑁瑐鹘y(tǒng)的協(xié)同過濾推薦算法推薦精度受到比較大的影響。另外，受單機(jī)性能的制約，面對(duì)海量數(shù)據(jù)傳統(tǒng)協(xié)同過濾推薦算法的計(jì)算

2、效率以及可擴(kuò)展性也面臨著嚴(yán)峻挑戰(zhàn)。
　　本文詳細(xì)研究了協(xié)同過濾推薦算法的數(shù)據(jù)稀疏性問題以及隨著數(shù)據(jù)量增長(zhǎng)可擴(kuò)展性較差的問題，并針對(duì)這兩個(gè)問題從改進(jìn)相似度計(jì)算方法改善數(shù)據(jù)稀疏性和采用分布式編程算法提高算法可擴(kuò)展性兩個(gè)角度改善推薦質(zhì)量。
　　第一，用戶評(píng)價(jià)數(shù)過少導(dǎo)致用戶-項(xiàng)目評(píng)分矩陣極度稀疏，降低了協(xié)同過濾推薦算法的推薦精度。本章從項(xiàng)目的評(píng)分向量整體分布情況出發(fā)，提出了輔助因子相似度的概念，并將輔助因子相似度與基于項(xiàng)目的傳統(tǒng)的相

3、似度方法進(jìn)行融合，提出了融合輔助因子的協(xié)同過濾推薦算法。在項(xiàng)目共同評(píng)分?jǐn)?shù)據(jù)很少的情況下，改善了推薦精度不足的問題。實(shí)驗(yàn)證明，本章算法可以有效的緩解數(shù)據(jù)稀疏性，提高推薦精度。
　　第二，針對(duì)傳統(tǒng)單機(jī)的協(xié)同過濾推薦算法隨著數(shù)據(jù)集增長(zhǎng)可擴(kuò)展性較差的問題，本章實(shí)現(xiàn)了基于Hadoop分布式平臺(tái)的協(xié)同過濾推薦算法。計(jì)算用戶偏好向量和共現(xiàn)矩陣的乘積來得到推薦向量，通過動(dòng)態(tài)增添集群節(jié)點(diǎn)改善算法的可擴(kuò)展性。計(jì)算矩陣乘時(shí)放棄傳統(tǒng)的矩陣乘法，采用一種改