推薦系統(tǒng)中協(xié)同過濾算法若干問題的研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)的應(yīng)用也在快速普及，并受到了公眾的認(rèn)可和贊同。同時(shí)，互聯(lián)網(wǎng)也滲透到我們每個(gè)人的生活中，網(wǎng)上交易購物，也變得越來越流行。但是，對(duì)于互聯(lián)網(wǎng)的使用者來說，在網(wǎng)上購物還要面臨一個(gè)巨大的問題。由于互聯(lián)網(wǎng)信息的種類繁多，商品數(shù)量龐大，如何在眾多商品中正確的選擇商品和購買到自己需要的商品成為用戶要面臨的一個(gè)問題。為了幫助用戶在互聯(lián)網(wǎng)上更好地選擇商品，推薦系統(tǒng)應(yīng)運(yùn)而生。推薦系統(tǒng)是用來幫助用戶選擇商品和產(chǎn)生商品智能推薦的系統(tǒng)。

2、其中最重要的推薦技術(shù)是協(xié)同過濾技術(shù)，協(xié)同過濾技術(shù)利用用戶品味間的相似來產(chǎn)生推薦。目前，協(xié)同過濾技術(shù)在研究和應(yīng)用領(lǐng)域上均取得了很大成功，但依然有很多問題需要解決和研究。
　　 目前，國內(nèi)外學(xué)者研究的熱點(diǎn)問題主要有三個(gè)。第一是算法的準(zhǔn)確性問題。為了使推薦的結(jié)果更加準(zhǔn)確，研究者們一直在推薦準(zhǔn)確性方面做著不懈的努力，但是由于用戶和產(chǎn)品的數(shù)據(jù)的稀疏性，其推薦的準(zhǔn)確性受到嚴(yán)重的影響。由于用戶并不能購買所有商品，而是只能購買其中很少的一部分，

3、從而導(dǎo)致數(shù)據(jù)矩陣十分稀疏，數(shù)據(jù)稀疏性也成為影響協(xié)同過濾技術(shù)最主要的原因。第二是算法的可伸縮性問題。由于用戶和產(chǎn)品數(shù)量龐大，并且用戶和產(chǎn)品的數(shù)量都在高速增長(zhǎng)，因此如何使算法更加適合不斷增長(zhǎng)的大規(guī)模數(shù)據(jù)，以提高算法的可伸縮性成為一個(gè)重要的研究課題。第三是協(xié)同過濾算法的評(píng)估問題。推薦系統(tǒng)的評(píng)估是一個(gè)非常重要的課題，它不但可以幫助我們?cè)u(píng)估推薦系統(tǒng)的推薦質(zhì)量，還可以針對(duì)不同的數(shù)據(jù)及數(shù)據(jù)屬性選擇合適的推薦算法。
　　 針對(duì)上述問題，本文開展

4、了以下創(chuàng)新性的研究工作：
　　 第一，提出了一種新的基于模型的協(xié)同過濾算法。傳統(tǒng)的基于用戶的協(xié)同過濾算法基于一個(gè)如下假設(shè)：如果用戶對(duì)一些項(xiàng)目的評(píng)分比較相似，則他們對(duì)其它項(xiàng)目的評(píng)分也比較相似；如果大部分用戶對(duì)一些項(xiàng)的評(píng)分比較相似，則當(dāng)前用戶對(duì)這些項(xiàng)的評(píng)分也比較相似。但是兩個(gè)用戶存在品位的相似往往只是針對(duì)部分項(xiàng)目而言。傳統(tǒng)的協(xié)同過濾算法往往忽略了這一點(diǎn)，而是把所有的項(xiàng)目都考慮進(jìn)來。針對(duì)這個(gè)問題，本文提出了一個(gè)新的基于聚類的模型算法。

5、這種算法在聚類的同時(shí)試圖在類別中發(fā)現(xiàn)簇中用戶所共有的部分偏好相似項(xiàng)目，并依據(jù)偏好相似程度賦予不同的權(quán)值，然后再在每個(gè)簇中使用本文定義的新的相似度計(jì)算方法來計(jì)算最近鄰并產(chǎn)生預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法有比較高的準(zhǔn)確度，同時(shí)由于使用了聚類的方法，可以有效的減少計(jì)算復(fù)雜度，提高算法的可伸縮性。
　　 第二，針對(duì)目前協(xié)同過濾算法存在的預(yù)測(cè)準(zhǔn)確度受數(shù)據(jù)稀疏性影響比較大的問題，提出了一種新的基于用戶和基于項(xiàng)目結(jié)合的協(xié)同過濾算法。數(shù)據(jù)稀疏或者是

6、由于某些用戶選擇項(xiàng)目太少或者某些項(xiàng)目被用戶選擇次數(shù)過少而導(dǎo)致。因此，本文的算法首先定義了用戶稀疏度和項(xiàng)目稀疏度，并根據(jù)用戶稀疏度的不同來結(jié)合基于用戶和基于項(xiàng)目的協(xié)同過濾算法。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地解決數(shù)據(jù)稀疏的問題，并能很好的提高算法的準(zhǔn)確性。
　　 第三，提出了一種新的最近鄰選擇方式。最近鄰的選擇是協(xié)同過濾算法中最為核心的問題，因?yàn)樽詈蟮念A(yù)測(cè)結(jié)果要使用選擇后的最近鄰來進(jìn)行組合預(yù)測(cè)，因此如何選擇最近鄰將對(duì)算法的準(zhǔn)確性產(chǎn)生

7、至關(guān)重要的影響。本文指出了傳統(tǒng)的最近鄰選擇和計(jì)算方法所帶來的弊端和存在的問題，并對(duì)該類問題進(jìn)行了定義和分析，針對(duì)這類問題，提出了一種新的最近鄰選擇方法，該方法考慮了兩個(gè)用戶相似時(shí)的用戶的部分偏好相似問題，從而結(jié)合項(xiàng)目間的影響來選擇最近鄰。實(shí)驗(yàn)結(jié)果表明，該方法能夠更加正確的選擇最近鄰，從而改善了協(xié)同過濾算法的準(zhǔn)確性。
　　 最后，文本還提出了一種新的評(píng)估和測(cè)量協(xié)同過濾算法的方法。有效性和時(shí)間消耗作為推薦系統(tǒng)的重要指標(biāo)，其評(píng)價(jià)準(zhǔn)則的

8、設(shè)計(jì)一直是一個(gè)熱點(diǎn)，但是沒有統(tǒng)一的結(jié)論。最常用的協(xié)同過濾的有效性的評(píng)估指標(biāo)是MAE（mean absolute error）。這個(gè)指標(biāo)只能籠統(tǒng)地描述算法準(zhǔn)確性，并沒有針對(duì)協(xié)同過濾算法的特殊性進(jìn)行評(píng)價(jià)。文本認(rèn)為一個(gè)好的推薦系統(tǒng)應(yīng)該滿足如下三個(gè)條件：（1）準(zhǔn)確性，能夠正確反映用戶的品位；（2）完整性，能夠推薦用戶可能忽略或者沒有足夠時(shí)間去查找的商品項(xiàng)目；（3）可信任性，要能真正贏得用戶的信任。并根據(jù)這些特殊性提出了三個(gè)指標(biāo)：修正的平均絕對(duì)偏