基于Hadoop的用戶特征數(shù)據(jù)統(tǒng)一分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)用戶越來(lái)越多，用戶行為信息量不斷增加，其增長(zhǎng)速度讓人感到不可思議，根據(jù)一個(gè)互聯(lián)網(wǎng)企業(yè)的統(tǒng)計(jì)，用戶在網(wǎng)絡(luò)上購(gòu)買某一商品前，平均需要打開五個(gè)不同網(wǎng)店地址，瀏覽網(wǎng)頁(yè)超過(guò)三十個(gè)，搜索次數(shù)大于十次。這些信息具有較大的分析價(jià)值，從中可以分析出用戶的相關(guān)特征，從而可以為用戶提供周到的推薦服務(wù)，這對(duì)公司和用戶自身都是有益的。目前，面向用戶特征數(shù)據(jù)分析的應(yīng)用越來(lái)越多，導(dǎo)致數(shù)據(jù)分散、工作量重復(fù)等問(wèn)題，缺少一個(gè)統(tǒng)一的方案來(lái)解決此類問(wèn)題，因此

2、開發(fā)一個(gè)用戶特征數(shù)據(jù)統(tǒng)一分析平臺(tái)變得越來(lái)越有必要。
　　本文首先簡(jiǎn)介了Hadoop大數(shù)據(jù)處理的研究現(xiàn)狀，然后闡述了用戶特征數(shù)據(jù)分析的研究現(xiàn)狀，為開發(fā)該系統(tǒng)提供了必要的參考，同時(shí)介紹了用戶特征數(shù)據(jù)分析相關(guān)的應(yīng)用。在需求分析階段，制定了該平臺(tái)的各項(xiàng)需求，根據(jù)其需求，對(duì)平臺(tái)做了詳細(xì)的設(shè)計(jì)，從功能的不同的角度出發(fā)，將平臺(tái)劃分為數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、模型建立模塊和用戶特征查詢模塊。數(shù)據(jù)采集模塊支持不同方式的采集。預(yù)處理模塊提供了一個(gè)

3、預(yù)處理框架，可以根據(jù)需求自定義操作順序和操作內(nèi)容，使得預(yù)處理過(guò)程更加方便和靈活，目前平臺(tái)支持封裝、切詞、特征提取、權(quán)值計(jì)算、數(shù)據(jù)格式化等預(yù)處理操作。在模型建立階段，平臺(tái)利用支持向量機(jī)分類算法、樸素貝葉斯分類算法和Adaboost算法，通過(guò)訓(xùn)練生成模型，以供預(yù)測(cè)需要。特征查詢模塊對(duì)外提供了遠(yuǎn)程調(diào)用的接口，內(nèi)部實(shí)現(xiàn)了LRU緩沖區(qū)，提高了平臺(tái)性能。為了體現(xiàn)平臺(tái)的可用性，基于平臺(tái)實(shí)現(xiàn)了用戶性別識(shí)別、用戶年齡識(shí)別和用戶消費(fèi)能力識(shí)別的具體應(yīng)用。在平