個(gè)性化信息推薦中若干關(guān)鍵問(wèn)題與技術(shù)研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展與信息網(wǎng)絡(luò)化趨勢(shì)的蔓延使得互聯(lián)網(wǎng)上信息的數(shù)量快速膨脹，人們面臨著信息過(guò)載帶來(lái)的信息獲取方面的困難。如何幫助互聯(lián)網(wǎng)用戶更加有效地獲取自己想要的信息，成為信息科學(xué)、計(jì)算機(jī)科學(xué)與網(wǎng)絡(luò)科學(xué)等交叉領(lǐng)域的研究熱點(diǎn)。得益于眾多研究人員的不懈努力，當(dāng)前已經(jīng)有了幾種可以比較高效地獲取感興趣的信息的方式，最主要的是信息檢索技術(shù)和信息過(guò)濾技術(shù)，前者以各種搜索引擎為典型代表，通過(guò)與用戶的交互獲取用戶對(duì)目標(biāo)信息的描述，通過(guò)描述關(guān)鍵詞在網(wǎng)絡(luò)中進(jìn)

2、行查找；后者以信息推薦為主要方法，通過(guò)收集用戶的行為數(shù)據(jù)和其他屬性信息，分析用戶的潛在興趣，為用戶篩選可能感興趣的信息。搜索技術(shù)需要用戶提供盡可能明確的關(guān)鍵詞來(lái)描述自己的需求，并且有限的關(guān)鍵詞無(wú)法進(jìn)一步區(qū)分具有不同習(xí)慣的用戶，得到的結(jié)果都是相同的；而推薦技術(shù)使用用戶的有關(guān)信息以及其過(guò)往行為所代表的興趣分析得到用戶的偏好與傾向，并不以用戶需求的自我描述為前提，所以用戶可以以較少的付出得到更精準(zhǔn)的信息。因此，對(duì)于沒(méi)有明確需求的情況，推薦技術(shù)

3、可以很好地滿足用戶的需求。
　　推薦技術(shù)已經(jīng)發(fā)展了近二十年，在很多領(lǐng)域已經(jīng)取得了較為成功的應(yīng)用，在理論研究方面，推薦技術(shù)得到了大量研究人員的關(guān)注，對(duì)經(jīng)典推薦方法——比如協(xié)同過(guò)濾方法——的研究熱度不減，還有很多其他的新方法——比如基于二分網(wǎng)絡(luò)的方法——被不斷提出，進(jìn)一步豐富了推薦技術(shù)的相關(guān)研究。隨著研究的不斷深入以及應(yīng)用環(huán)境的持續(xù)變化，推薦技術(shù)面臨著不少問(wèn)題與挑戰(zhàn)，這其中最主要的就是數(shù)據(jù)稀疏性問(wèn)題與大規(guī)模數(shù)據(jù)處理問(wèn)題。數(shù)據(jù)稀疏性問(wèn)題

4、指的是基于協(xié)同過(guò)濾的推薦中用戶與項(xiàng)目數(shù)量規(guī)模較大，但是用戶對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)相對(duì)較少，導(dǎo)致整個(gè)用戶-項(xiàng)目矩陣中的評(píng)分?jǐn)?shù)據(jù)十分稀疏，給推薦方法的計(jì)算帶來(lái)準(zhǔn)確性方面的影響。大規(guī)模數(shù)據(jù)處理問(wèn)題是指隨著實(shí)際應(yīng)用中推薦技術(shù)要處理的數(shù)據(jù)量的不斷增大，推薦算法的實(shí)時(shí)性壓力越來(lái)越大，這就要求設(shè)計(jì)更加高效的方法或者提出其他提高算法執(zhí)行效率的方法，提升推薦算法對(duì)數(shù)據(jù)的處理能力與處理速度。
　　針對(duì)推薦技術(shù)面臨的以上主要挑戰(zhàn)，本文將對(duì)下面幾個(gè)問(wèn)題展開(kāi)研究

5、。
　　第一，基于協(xié)同過(guò)濾方法的評(píng)分預(yù)測(cè)中數(shù)據(jù)稀疏性問(wèn)題研究。評(píng)分預(yù)測(cè)是個(gè)性化信息推薦的一個(gè)主要研究?jī)?nèi)容，通過(guò)分析用戶以往評(píng)分來(lái)預(yù)測(cè)未評(píng)分的項(xiàng)目的評(píng)分值。數(shù)據(jù)稀疏性問(wèn)題對(duì)協(xié)同過(guò)濾算法的影響主要體現(xiàn)在用戶相似度計(jì)算與評(píng)分預(yù)測(cè)生成兩個(gè)階段，數(shù)據(jù)稀疏導(dǎo)致用戶之間的公共數(shù)據(jù)變得更加有限，使得用戶之間相似結(jié)果的可信度下降；而受稀疏性的影響近鄰的評(píng)分完整性無(wú)法保證，在不完整參考評(píng)分集上得到的評(píng)分預(yù)測(cè)值也就不能保證較高的準(zhǔn)確度。因此，提出了基于

6、絕對(duì)相似度度量進(jìn)行參考用戶（項(xiàng)目）選擇和利用跨維度填補(bǔ)方法提高\(yùn)參考評(píng)分集完整性的方法。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的算法在減少數(shù)據(jù)稀疏性影響并提高推薦準(zhǔn)確性方面的作用。
　　第二，基于二分網(wǎng)絡(luò)的top-n推薦中數(shù)據(jù)稀疏性問(wèn)題研究。Top-n推薦是個(gè)性化信息推薦中的另一個(gè)基本問(wèn)題，目的是向每個(gè)用戶提供一個(gè)包含 N個(gè)項(xiàng)目的推薦列表。二分網(wǎng)絡(luò)的推薦方法是一種比較新穎的方法，這類方法能夠更好地適應(yīng)比較稀疏的數(shù)據(jù)，并且可以獲得更高的推薦精度。以

7、用戶評(píng)分為依據(jù)劃分用戶興趣時(shí)，只考慮用戶喜歡的項(xiàng)目部分使得數(shù)據(jù)利用率很低，而對(duì)用戶不喜歡的項(xiàng)目部分利用的不夠；用戶評(píng)分反映的興趣差別不僅應(yīng)該體現(xiàn)在興趣的有無(wú)上，還應(yīng)該進(jìn)一步細(xì)化到興趣強(qiáng)度的差異上以及興趣資源轉(zhuǎn)移過(guò)程中。本文提出了一種新的二分網(wǎng)絡(luò)方法，通過(guò)分析用戶不喜歡的項(xiàng)目所透露出來(lái)的信息建立負(fù)興趣感知的用戶興趣模型，并且使用評(píng)分敏感的用戶興趣資源初始化方法與資源轉(zhuǎn)移方法來(lái)體現(xiàn)用戶興趣在程度上的不同。接下來(lái)的實(shí)驗(yàn)表明，使用本文提出的新方

8、法，推薦的效果取得了明顯的提高。
　　第三，基于二分網(wǎng)絡(luò)的評(píng)分預(yù)測(cè)算法研究。針對(duì)節(jié)點(diǎn)度分布不均衡的數(shù)據(jù)，提出一種二分網(wǎng)絡(luò)上無(wú)偏溫差傳導(dǎo)和有偏溫度恒定的算法處理評(píng)分預(yù)測(cè)問(wèn)題。由于不需要進(jìn)行相似計(jì)算和選擇固定個(gè)數(shù)用戶（項(xiàng)目）作為近鄰，二分網(wǎng)絡(luò)的方法可以更好地緩解稀疏數(shù)據(jù)的影響。本文提出的算法基于熱傳導(dǎo)的過(guò)程，并采用用戶之間的溫差作為傳導(dǎo)與比較的內(nèi)容，并設(shè)定節(jié)點(diǎn)獲得的溫差是從所有連接節(jié)點(diǎn)處傳導(dǎo)過(guò)來(lái)的溫差的均值，以此平衡所有節(jié)點(diǎn)的影響；此

9、外，利用溫度恒定的過(guò)程計(jì)算項(xiàng)目節(jié)點(diǎn)的預(yù)測(cè)溫度，得到用戶對(duì)項(xiàng)目的評(píng)分預(yù)測(cè)值。由文中進(jìn)行的實(shí)驗(yàn)可知，在特定類型的數(shù)據(jù)集上，本文提出的算法可以取得比基于協(xié)同過(guò)濾的方法更好的效果，并且該算法比經(jīng)典熱傳導(dǎo)方法具有更高的計(jì)算效率。
　　第四，基于Mapreduce的評(píng)分預(yù)測(cè)與top-n推薦算法的大規(guī)模數(shù)據(jù)處理問(wèn)題研究。個(gè)性化信息推薦在實(shí)際應(yīng)用中要處理的數(shù)據(jù)量越來(lái)越大，因此對(duì)算法的執(zhí)行效率提出了更高的要求。有些研究針對(duì)算法計(jì)算過(guò)程進(jìn)行精簡(jiǎn)，比如

10、矩陣降維等，但這類方法受限于算法本身，并不能保證精簡(jiǎn)的效果一定能夠滿足要求，也不能無(wú)限地精簡(jiǎn)來(lái)提升算法的擴(kuò)展能力。本文研究了所提出的幾種推薦算法，對(duì)基于二分網(wǎng)絡(luò)的top-n推薦算法與評(píng)分預(yù)測(cè)算法進(jìn)行并行化設(shè)計(jì)與實(shí)現(xiàn)，利用Mapreduce的并行計(jì)算功能將整個(gè)算法的計(jì)算量分配到多個(gè)計(jì)算節(jié)點(diǎn)上并發(fā)進(jìn)行，以此提高算法的執(zhí)行效率，減少處理大規(guī)模數(shù)據(jù)時(shí)算法的時(shí)間消耗。這類方法的好處是，隨著數(shù)據(jù)量的不斷加大，在算法適用的前提下，只要提供足夠的計(jì)算節(jié)