基于Spark的協(xié)同過濾算法的研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，電子商務(wù)隨之逐漸成熟，網(wǎng)購比例越來越大，然而商品種類日益繁多，從中選擇自己真正需要的物品也隨之變得愈發(fā)困難。電商平臺推薦系統(tǒng)的產(chǎn)生在一定程度上解決了信息過載的問題，根據(jù)用戶畫像或其歷史行為數(shù)據(jù)為用戶提供個性化的商品推薦，可以有效地避免一些篩選工作。協(xié)同過濾推薦算法是電商推薦系統(tǒng)中應(yīng)用最為廣泛且比較成熟的推薦算法，在現(xiàn)實應(yīng)用中收獲了一定的效果，但仍呈現(xiàn)出一些缺陷，諸如數(shù)據(jù)稀疏性、隱式反饋問題、冷啟動問題、準(zhǔn)

2、確性問題等。此外，面對用戶量和商品量激增的現(xiàn)狀，原始推薦算法逐漸暴露出擴展性、穩(wěn)定性和實時性等問題。
　　基于以上因素，通過研究國內(nèi)外關(guān)于協(xié)同過濾推薦算法的成果及算法存在的常見問題，本文有針對性地對基于項目的協(xié)同過濾算法進行了改進，包括數(shù)據(jù)預(yù)處理階段的隱式反饋問題解決方案，相似度計算階段的基于用戶歷史行為和物品描述信息的綜合相似度的改進，并結(jié)合當(dāng)前主流的大數(shù)據(jù)處理技術(shù)實現(xiàn)了改進算法在分布式計算平臺Spark上的并行化，最后將并行化

3、改進算法應(yīng)用于實際應(yīng)用中，主要工作及研究成果如下：
　?。?）針對電商系統(tǒng)中用戶顯示評分?jǐn)?shù)據(jù)量較少的情況，利用系統(tǒng)中用戶的操作行為數(shù)據(jù)，通過一定的方法將隱式反饋數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)的用戶-項目評分矩陣，解決了電商系統(tǒng)中用戶的隱式反饋問題。
　?。?）引入綜合相似度，由項目間的相似度和基于商品描述信息得到的相似度共同組成。利用商品的描述信息，對文本信息進行分詞、加入停用詞和自定義詞，將其轉(zhuǎn)換成TF-IDF向量，以此計算項目間的內(nèi)容相

4、似度。使用項目間內(nèi)容相似度，按照一定方式對傳統(tǒng)的項目間的相似度進行修正，通過這種方式來解決數(shù)據(jù)稀疏性、項目冷啟動等問題，同時提高了推薦結(jié)果的準(zhǔn)確率和召回率。
　　（3）鑒于算法的擴展性、穩(wěn)定性和實時性，將改進算法并行化于Spark平臺，利用并行化算法設(shè)計并實現(xiàn)了一個電商平臺推薦系統(tǒng)，最后采用人口統(tǒng)計方法優(yōu)化了系統(tǒng)中用戶的冷啟動問題。
　　實驗結(jié)果表明，引入綜合相似度后的改進算法在準(zhǔn)確率和召回率上都有所提高，通過對比集群不同節(jié)