在線文檔推薦算法的研究與改進(jìn).pdf

1、隨著我國(guó)網(wǎng)民規(guī)模接近7億，互網(wǎng)聯(lián)頁(yè)面數(shù)突破2000億，信息爆炸般增長(zhǎng)，從中獲取有效信息也變得愈加困難。因此也有了許多個(gè)性化解決方案來(lái)對(duì)互聯(lián)網(wǎng)信息進(jìn)行篩選提供給人們符合所需的信息。搜索引擎和推薦系統(tǒng)便是兩種獲取信息的有效手段，前者是用戶主動(dòng)查詢搜索所需內(nèi)容，但常受限于查詢格式或者內(nèi)容完整性，并不容易找到所需內(nèi)容，尤其是難以查詢視頻音頻等，且智能程度較低。而另一種方式，推薦系統(tǒng)便可以發(fā)揮優(yōu)勢(shì)，通過(guò)分析海量數(shù)據(jù)信息，分析歷史行為信息和用戶之間

2、的關(guān)系等，對(duì)用戶進(jìn)行推薦，免去用戶搜索的麻煩。
　　數(shù)據(jù)是推薦系統(tǒng)的基礎(chǔ)。從數(shù)據(jù)中進(jìn)行分析才能得到有價(jià)值的信息，尋找到其中隱藏的關(guān)系。但數(shù)據(jù)需要保證質(zhì)量，由此引出數(shù)據(jù)的清洗環(huán)節(jié)。數(shù)據(jù)清洗指將原有數(shù)據(jù)如日志文件等按規(guī)則進(jìn)行預(yù)處理，使數(shù)據(jù)達(dá)到完整性一致性準(zhǔn)確性等要求。數(shù)據(jù)清洗保障了推薦算法的準(zhǔn)確性。
　　推薦算法是推薦系統(tǒng)的核心。傳統(tǒng)推薦算法在推薦系統(tǒng)中依舊發(fā)揮著砥柱的作用，但是對(duì)于特定數(shù)據(jù)特定系統(tǒng)，其效果并不總是理想。針對(duì)特定

3、數(shù)據(jù)進(jìn)行分析，在原算法基礎(chǔ)上進(jìn)行創(chuàng)新，通過(guò)實(shí)驗(yàn)數(shù)據(jù)分析，優(yōu)化改進(jìn)，往往能獲得更好的效果。
　　綜上所述，本文針對(duì)華為在線文檔推薦系統(tǒng)的工作主要如下：
　　1.首先采集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分析。然后制定數(shù)據(jù)清洗規(guī)則，按照清洗流程兌出去進(jìn)行了預(yù)處理。每天新數(shù)據(jù)到來(lái)時(shí)定時(shí)啟動(dòng)清洗程序，實(shí)現(xiàn)清洗自動(dòng)化。
　　2.分析已有的推薦算法并做出改進(jìn)。本文采用了協(xié)同過(guò)濾算法并在此基礎(chǔ)上改進(jìn)算法，針對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，用轉(zhuǎn)移概率矩陣對(duì)原相似

4、度矩陣進(jìn)行替代，并分析歷史瀏覽信息中的文檔類別間的跳轉(zhuǎn)關(guān)系，在推薦過(guò)程中根據(jù)文檔類別間跳轉(zhuǎn)比例產(chǎn)生推薦列表。最后結(jié)合熱點(diǎn)推薦，彌補(bǔ)冷啟動(dòng)的缺點(diǎn)。改進(jìn)后的算法的各項(xiàng)評(píng)價(jià)指標(biāo)提升明顯。
　　3.將數(shù)據(jù)處理和推薦系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)華為在線文檔推薦系統(tǒng)，并以網(wǎng)站形式進(jìn)行展示。網(wǎng)站采用 Struts2+Mysql+redis形式，框架為 Struts2，其優(yōu)點(diǎn)為層次清晰，維護(hù)效率高。數(shù)據(jù)庫(kù)采用了關(guān)系型數(shù)據(jù)庫(kù)Mysql和內(nèi)存數(shù)據(jù)庫(kù)redis，