基于Hadoop的個(gè)性化推薦系統(tǒng)在電子商務(wù)的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和電子商務(wù)應(yīng)用的不斷擴(kuò)大，人們?cè)谙硎茈娮由虅?wù)帶來(lái)的方便快捷的同時(shí)也陷入了信息過(guò)載的困境，用戶(hù)在大量的電商物品中難以找到自己需要的物品。因此，電子商務(wù)個(gè)性化推薦系統(tǒng)顯得越來(lái)越重要。電子商務(wù)推薦系統(tǒng)自動(dòng)化的為用戶(hù)推薦物品，幫助用戶(hù)找到需要的物品，順利完成購(gòu)買(mǎi)過(guò)程。協(xié)同過(guò)濾技術(shù)是目前推薦系統(tǒng)中應(yīng)用最為成功和廣泛的推薦技術(shù)之一。然而，協(xié)同過(guò)濾推薦系統(tǒng)存在的四個(gè)主要問(wèn)題：推薦系統(tǒng)的數(shù)據(jù)稀疏問(wèn)題、新用戶(hù)新項(xiàng)目問(wèn)題、協(xié)同過(guò)濾推薦算

2、法的可擴(kuò)展實(shí)時(shí)性問(wèn)題以及“跨類(lèi)型推薦”問(wèn)題等。
　　本文以傳統(tǒng)的協(xié)同過(guò)濾推薦算法為主線(xiàn)，將數(shù)據(jù)挖掘中的聚類(lèi)算法、群體智能優(yōu)化算法引入到傳統(tǒng)協(xié)同過(guò)濾推薦算法中，形成量子粒子群聚類(lèi)模型協(xié)同過(guò)濾推薦算法，提高了推薦效果并最終在搭建的云平臺(tái)上解決擴(kuò)展性問(wèn)題。針對(duì)推薦系統(tǒng)存在的四個(gè)主要問(wèn)題，首先將基于用戶(hù)的協(xié)同過(guò)濾推薦算法和基于項(xiàng)目的協(xié)同過(guò)濾推薦算法結(jié)合，通過(guò)k-means聚類(lèi)算法縮小比例空間，形成用戶(hù)和項(xiàng)目雙重聚類(lèi)的協(xié)同過(guò)濾推薦算法，基于

3、項(xiàng)目聚類(lèi)的協(xié)同過(guò)濾算法可以有效的解決數(shù)據(jù)稀疏性問(wèn)題，在小范圍內(nèi)推薦物品可以提高算法的可擴(kuò)展性實(shí)時(shí)性問(wèn)題，將兩者結(jié)合同時(shí)解決了項(xiàng)目推薦無(wú)法進(jìn)行的“擴(kuò)類(lèi)型問(wèn)題”。對(duì)于新到來(lái)的用戶(hù)或者物品，通過(guò)聚類(lèi)將其劃分到相對(duì)應(yīng)的類(lèi)簇中，在一定程度上也解決了新用戶(hù)和新項(xiàng)目問(wèn)題。通過(guò)仿真實(shí)驗(yàn)改進(jìn)后的算法較之傳統(tǒng)協(xié)同過(guò)濾推薦算法的有效性。針對(duì)聚類(lèi)算法易陷入局部最優(yōu)值、對(duì)初始聚類(lèi)中心敏感問(wèn)題以及后期收斂速度慢的問(wèn)題，為了進(jìn)一步提高推薦系統(tǒng)的推薦質(zhì)量，從尋優(yōu)機(jī)理的

4、角度出發(fā)，將量子粒子群算法引入到k-means算法中，經(jīng)驗(yàn)證在很大程度上可以解決聚類(lèi)算法的不足。經(jīng)研究表明，量子粒子群算法具有收斂速度快優(yōu)點(diǎn)且最終收斂于全局最優(yōu)解，因此將量子粒子群聚類(lèi)算法應(yīng)用到推薦系統(tǒng)中驗(yàn)證算法的有效性。隨著電子商務(wù)推薦系統(tǒng)的規(guī)模越來(lái)越大，運(yùn)算量也隨之增加，運(yùn)算所需要的資源和時(shí)間耗費(fèi)明顯增大。Hadoop平臺(tái)給這個(gè)瓶頸帶來(lái)的曙光，Hadoop所具有的并行處理、容錯(cuò)處理、本地化計(jì)算、負(fù)載均衡等優(yōu)點(diǎn)，極大的簡(jiǎn)化了并行程度設(shè)