基于Hadoop的全國零售戶數(shù)據(jù)處理與市場感知.pdf

1、隨著近年來互聯(lián)網(wǎng)的發(fā)展，促使了“互聯(lián)網(wǎng)+”的興起，煙草企業(yè)已經(jīng)擁有了龐大的零售戶信息數(shù)據(jù)。零售戶在全國范圍內(nèi)的數(shù)量已經(jīng)超過了800萬家，每月都會(huì)產(chǎn)生大量訂單信息，隨著時(shí)間的推移，這個(gè)訂單信息數(shù)據(jù)量已經(jīng)達(dá)到TB級別。然而，企業(yè)最初搭建的硬件設(shè)備和軟件不具有存儲(chǔ)和處理這些數(shù)據(jù)的能力，因此導(dǎo)致有價(jià)值的信息無法提取出來，形成一個(gè)尷尬的局面。本文結(jié)合全國零售戶不斷劇增的信息數(shù)據(jù)與現(xiàn)有的大數(shù)據(jù)存儲(chǔ)技術(shù)，提出了基于Hadoop的全國零售戶訂單數(shù)據(jù)分析

2、系統(tǒng)的架構(gòu)，詳細(xì)分析了Hadoop集群節(jié)點(diǎn)存儲(chǔ)性能和響應(yīng)時(shí)間，實(shí)現(xiàn)了海量數(shù)據(jù)的存儲(chǔ)與處理。基于ARIMA預(yù)測模型，建立了銷售預(yù)測模型，并對該模型進(jìn)行了驗(yàn)證，根據(jù)預(yù)測提出了基于預(yù)測的營銷模式，還提出了對零售戶終身價(jià)值的計(jì)算方式，為決策者提供對零售戶的忠誠度提升策略。具體研究內(nèi)容如下：
　　1）根據(jù)全國零售戶訂單數(shù)據(jù)的性質(zhì)，提出了一種基于Hive的數(shù)據(jù)存儲(chǔ)模型，該模型是對海量數(shù)據(jù)進(jìn)行分區(qū)管理，采用月單位劃分?jǐn)?shù)據(jù)分區(qū)表。采用該模型解決針

3、對全國零售戶訂單數(shù)據(jù)的應(yīng)用存儲(chǔ)和負(fù)載均衡問題。
　　2）探討了對整個(gè)HDFS常用的數(shù)據(jù)處理辦法，并根據(jù)存儲(chǔ)數(shù)據(jù)的實(shí)際情況，提出了一個(gè)在異構(gòu)集群下減少數(shù)據(jù)處理的響應(yīng)時(shí)間的算法，該算法是分析集群性質(zhì)和對集群處理數(shù)據(jù)的執(zhí)行響應(yīng)時(shí)間提出一種基于節(jié)點(diǎn)計(jì)算性能的數(shù)據(jù)分配策略。針對全國零售戶數(shù)據(jù)，運(yùn)用該分配策略建立一個(gè)數(shù)據(jù)處理模型，降低數(shù)據(jù)在網(wǎng)絡(luò)上傳輸，防止數(shù)據(jù)擁塞，提供集群的時(shí)效性。
　　3）企業(yè)具有敏銳的市場感知、把握市場動(dòng)態(tài)和市場方

4、向的能力，關(guān)鍵在于對大數(shù)據(jù)的挖掘。本文從市場感知和市場響應(yīng)角度，在大數(shù)據(jù)的基礎(chǔ)上，運(yùn)用ARIMA銷售預(yù)測模型來預(yù)測市場銷售，并且提出了一種計(jì)算零售戶市場價(jià)值、忠誠度的方法，緩解重要決策對個(gè)人經(jīng)驗(yàn)的依賴，為品牌投放和市場響應(yīng)提供了有效的信息支撐。
　　4)基于Hadoop的數(shù)據(jù)存儲(chǔ)技術(shù)建立了一個(gè)大數(shù)據(jù)處理平臺，設(shè)計(jì)了一個(gè)以企業(yè)產(chǎn)生的零售數(shù)據(jù)為導(dǎo)向的數(shù)據(jù)存儲(chǔ)的生態(tài)大循環(huán)、以戰(zhàn)略為牽引的大數(shù)據(jù)平臺中循環(huán)和以數(shù)據(jù)信息為核心的數(shù)據(jù)同步處理的