協(xié)同過濾推薦算法研究及MapReduce實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，數(shù)據(jù)信息呈現(xiàn)出爆炸式增長(zhǎng)，互聯(lián)網(wǎng)將人類帶入了大數(shù)據(jù)時(shí)代。用戶要在海量數(shù)據(jù)中挑選出自己真正需要的信息好比大海撈針，如何在眾多信息中迅速挖掘用戶感興趣的關(guān)鍵信息并推送給用戶，成為當(dāng)下學(xué)界和業(yè)界共同關(guān)注的熱點(diǎn)問題。近年來，推薦系統(tǒng)作為一種智能的個(gè)性化信息服務(wù)技術(shù)在國(guó)內(nèi)外得到迅速崛起，并在電子商務(wù)、視頻娛樂、社交網(wǎng)絡(luò)等多個(gè)領(lǐng)域得到廣泛應(yīng)用。
　　經(jīng)過多年的發(fā)展，推薦系統(tǒng)已經(jīng)衍生出基于內(nèi)容的推薦、基于數(shù)據(jù)挖掘的推薦

2、、協(xié)同過濾推薦等多種推薦技術(shù)。其中，協(xié)同過濾推薦技術(shù)是應(yīng)用最為廣泛的推薦技術(shù)。但是，協(xié)同過濾推薦算法存在著數(shù)據(jù)稀疏、推薦精度低等問題，特別在大數(shù)據(jù)背景下，協(xié)同過濾推薦算法的數(shù)據(jù)稀疏問題、推薦精度問題被進(jìn)一步放大，使之成為推薦系統(tǒng)的發(fā)展和應(yīng)用的瓶頸?；诖耍疚耐瓿闪巳缦鹿ぷ?
　　第一，針對(duì)協(xié)同過濾推薦系統(tǒng)中的數(shù)據(jù)稀疏性問題，提出了基于專家用戶和項(xiàng)目信任度的數(shù)據(jù)填充方法。該方法根據(jù)專家信任度值，選擇評(píng)分?jǐn)?shù)量多、評(píng)分質(zhì)量好的用戶作為

3、專家用戶。同時(shí)，該方法綜合考慮項(xiàng)目評(píng)分?jǐn)?shù)和標(biāo)準(zhǔn)差作為項(xiàng)目信任度的評(píng)估值，使信任度高的項(xiàng)目作為可行項(xiàng)目，并采用專家用戶的評(píng)分對(duì)高信任度項(xiàng)目的缺失項(xiàng)進(jìn)行填充，從而在保證填充質(zhì)量的前提下有效降低數(shù)據(jù)的稀疏度，并通過實(shí)驗(yàn)驗(yàn)證該算法的有效性。
　　第二，結(jié)合K-Means算法和基于項(xiàng)目的協(xié)同過濾推薦算法，提出了基于聚類和非對(duì)稱權(quán)重混合相似度的協(xié)同過濾推薦算法(CFCA)。該算法首先完成了基于評(píng)分穩(wěn)定項(xiàng)目的K-Means聚類，然后在類中采用非

4、對(duì)稱權(quán)重混合相似度進(jìn)行相似度計(jì)算，并據(jù)此給出推薦結(jié)果。該算法綜合考慮項(xiàng)目之間共同用戶評(píng)分的交疊狀況和項(xiàng)目的評(píng)分?jǐn)?shù)，提高了相似度計(jì)算的準(zhǔn)確性，進(jìn)而提高推薦質(zhì)量。針對(duì)本文提出的算法，論文完成了在不同條件下CFCA算法與傳統(tǒng)協(xié)同過濾推薦算法的實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，本文提出的算法，能夠有效的提高算法的推薦精度。
　　第三，為提高算法效率、降低算法運(yùn)算時(shí)間，本文設(shè)計(jì)了CFCA算法MapReduce并行編程模型，并完成了該模型下數(shù)據(jù)預(yù)處理、