基于Storm的分布式在線推薦系統(tǒng).pdf

1、數(shù)字圖書館作為知識和信息的重要載體，受到世界各國的關(guān)注。隨著數(shù)字圖書館中資源規(guī)模的不斷擴大，如何快速獲取用戶需要的資源成為一大難題，而個性化推薦是解決這一問題的重要方法。數(shù)字圖書館的用戶行為構(gòu)成流式數(shù)據(jù)，處理流式數(shù)據(jù)時算法必須具備高性能和實時性，此時傳統(tǒng)的協(xié)同過濾推薦算法已無法勝任。本文主要研究個性化推薦技術(shù)，并提出一種基于矩陣分解的分布式在線推薦算法。該算法能夠?qū)崟r處理流式數(shù)據(jù)，及時為用戶推薦感興趣的書籍。
　　本文主要工作如下

2、:
　　第一、設(shè)計并構(gòu)建日志收集系統(tǒng)，用于收集CADAL閱讀平臺中多種服務所產(chǎn)生的流式數(shù)據(jù)，集中化處理系統(tǒng)日志，并為推薦系統(tǒng)提供數(shù)據(jù)來源。
　　第二、利用Storm分布式實時計算系統(tǒng)和數(shù)據(jù)分塊技術(shù)，實現(xiàn)一個分布式隨機梯度下降算法用于在線推薦系統(tǒng)。實驗顯示，該算法在保證推薦效果的前提下，能夠顯著提高數(shù)據(jù)處理能力，提升計算性能。
　　第三、通過計算物品相似度并利用用戶歷史閱讀記錄確定候選推薦集，并根據(jù)矩陣分解模塊的訓練結(jié)果