基于MapReduce用戶(hù)聚類(lèi)算法在Web日志挖掘中應(yīng)用.pdf

1、現(xiàn)如今，Web上的數(shù)據(jù)以無(wú)法想象的規(guī)模在迅速的增大，對(duì)這些數(shù)據(jù)進(jìn)行挖掘可以得到很多重要信息。本文對(duì)創(chuàng)新知識(shí)云平臺(tái)所生成的Web日志進(jìn)行挖掘可以有效的了解客戶(hù)的需求，掌握客戶(hù)的瀏覽習(xí)慣來(lái)豐富網(wǎng)站的內(nèi)容并且對(duì)網(wǎng)站的優(yōu)化以及展示方式都有積極的推動(dòng)作用。本文通過(guò)Web日志的挖掘?qū)τ脩?hù)進(jìn)行聚類(lèi)，將具有相同瀏覽習(xí)慣的用戶(hù)聚集在同一個(gè)類(lèi)中。
　　在用戶(hù)聚類(lèi)的過(guò)程中會(huì)存在一定誤差。一方面本文所采用的算法大多數(shù)是基于統(tǒng)計(jì)學(xué)的用戶(hù)聚類(lèi)算法，而統(tǒng)計(jì)學(xué)的

2、準(zhǔn)確率是建立在大量實(shí)驗(yàn)基礎(chǔ)之上。為了減少統(tǒng)計(jì)誤差，在實(shí)驗(yàn)的過(guò)程中，選擇多個(gè)實(shí)驗(yàn)樣本進(jìn)行實(shí)驗(yàn)；另一方面在用戶(hù)聚類(lèi)的過(guò)程中一個(gè)重要的過(guò)程就是用戶(hù)識(shí)別。在用戶(hù)識(shí)別過(guò)程中，首先，根據(jù)用戶(hù)的IP地址和用戶(hù)代理來(lái)識(shí)別用戶(hù)；然后，使用會(huì)話(huà)識(shí)別算法來(lái)進(jìn)一步的提升用戶(hù)識(shí)別的效果。
　　用戶(hù)的相似度計(jì)算是用戶(hù)聚類(lèi)中非常重要的過(guò)程。為了提高用戶(hù)聚類(lèi)的準(zhǔn)確率，從用戶(hù)訪(fǎng)問(wèn)路徑頻繁程度、用戶(hù)訪(fǎng)問(wèn)路徑序列以及用戶(hù)訪(fǎng)問(wèn)頁(yè)面語(yǔ)義內(nèi)容多維度的去構(gòu)建相關(guān)矩陣，通過(guò)計(jì)算