統(tǒng)計視角下面向數(shù)據(jù)稀疏問題的協(xié)同過濾推薦算法研究.pdf

1、隨著網(wǎng)絡的普及以及電子商務的飛速發(fā)展，信息資源呈爆發(fā)式增長，用戶在海量資源中快速而準確得找到自己喜歡的信息或商品變得越來越困難。為了解決這個問題，便產(chǎn)生了推薦系統(tǒng)。
　　推薦算法一直是推薦系統(tǒng)的核心技術。目前，協(xié)同過濾推薦算法是眾多推薦算法中應用最成功且最廣泛的推薦技術。它主要根據(jù)用戶留在網(wǎng)上的評分進行推薦。然而在實際應用中，由于用戶數(shù)據(jù)和項目數(shù)據(jù)規(guī)模相當龐大，且用戶對自己接觸過的項目評分數(shù)量又非常有限，從而導致了嚴重的數(shù)據(jù)稀疏性

2、問題，該問題是導致傳統(tǒng)的協(xié)同過濾推薦算法推薦精度較差的主要原因之一。
　　本文試圖站在統(tǒng)計學的角度，針對數(shù)據(jù)稀疏性問題對協(xié)同過濾推薦算法進行研究。實現(xiàn)了基于描述性統(tǒng)計的簡單推薦，并探究了將統(tǒng)計量填充、聚類分析、矩陣分解等方法應用到協(xié)同推薦算法中的效果。在詳細分析了數(shù)據(jù)稀疏性問題的起因以及對協(xié)同推薦的影響途徑基礎上，本文提出了采用統(tǒng)計量填充的方法緩解數(shù)據(jù)稀疏性問題，進而用K-Means聚類方法對用戶進行聚類，根據(jù)輪廓系數(shù)確定用戶類別

3、數(shù)，對每類用戶的缺失評分使用同類別的評分統(tǒng)計量作為固定值進行填充。除了固定值填充缺失評分外，本文還采用奇異值分解(SVD)降維技術實現(xiàn)評分預測，利用預測評分對原始矩陣進行填充，形成新的用戶—項目評分矩陣，再進行協(xié)同推薦。最后從推薦過程修正的角度出發(fā)，對傳統(tǒng)的用戶間相似度計算采用加權的方式進行改進，提出了基于用戶偏好相似度與用戶評分相似度進行加權計算用戶間相似度的方法。采用MovieLens數(shù)據(jù)集對上述方法進行實驗，通過平均絕對偏差(MA