海量銷售數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來伴隨著云計(jì)算技術(shù)和大數(shù)據(jù)處理技術(shù)的飛速發(fā)展，數(shù)據(jù)分析與數(shù)據(jù)挖掘等領(lǐng)域在企業(yè)中越來越被重視。通過對(duì)數(shù)據(jù)的處理，可以幫助優(yōu)化現(xiàn)有的業(yè)務(wù)處理流程，甚至為企業(yè)制定今后業(yè)務(wù)的發(fā)展方向提供必要的數(shù)據(jù)支持。所以在各個(gè)行業(yè)各個(gè)領(lǐng)域里，數(shù)據(jù)已經(jīng)變成企業(yè)的財(cái)富，希望利用新興數(shù)據(jù)處理技術(shù)獲取數(shù)據(jù)的潛在價(jià)值。
　　在每個(gè)企業(yè)發(fā)展過程中，無疑積累了大量的與銷售活動(dòng)相關(guān)的數(shù)據(jù)。這些數(shù)據(jù)中囊括了客戶信息、產(chǎn)品信息和合同信息等等，種類繁多且數(shù)據(jù)量龐大。然而

2、，這些數(shù)據(jù)往往很少能夠被充分利用，更多的是用作績(jī)效考核以及信息查詢。云計(jì)算技術(shù)及大數(shù)據(jù)處理技術(shù)出現(xiàn)之前，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)不能在有效的時(shí)間范圍內(nèi)處理如此海量的數(shù)據(jù)。本課題利用云計(jì)算和大數(shù)據(jù)處理技術(shù)對(duì)隱藏在銷售業(yè)績(jī)背后的大量數(shù)據(jù)進(jìn)行分析和挖掘，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)高效的、易用的數(shù)據(jù)處理平臺(tái)。希望通過本數(shù)據(jù)處理平臺(tái)，可以幫助簡(jiǎn)化，甚至優(yōu)化現(xiàn)有的業(yè)務(wù)處理流程，并能夠?yàn)闃I(yè)務(wù)發(fā)展方向的制定提供必要的數(shù)據(jù)支持。
　　本文首先介紹了本課題的研究背

3、景和意義以及主要內(nèi)容，然后對(duì)本課題中使用到的主要技術(shù)進(jìn)行闡述。在此基礎(chǔ)上，結(jié)合這些技術(shù)的特點(diǎn)、業(yè)務(wù)數(shù)據(jù)的特性和業(yè)務(wù)需求，論述了平臺(tái)的設(shè)計(jì)方法和實(shí)現(xiàn)方式，提出了具體的系統(tǒng)解決方案。并重點(diǎn)對(duì)兩個(gè)具有代表性的共通數(shù)據(jù)處理功能和跨平臺(tái)數(shù)據(jù)聚合功能進(jìn)行詳細(xì)說明。最后通過系統(tǒng)測(cè)試驗(yàn)證功能的正確性，通過大數(shù)據(jù)量的測(cè)試驗(yàn)證數(shù)據(jù)處理的高效性。
　　本課題寄希望借助云計(jì)算技術(shù)和大數(shù)據(jù)處理技術(shù)的特點(diǎn)，提高系統(tǒng)資源使用率的同時(shí)，可以把海量數(shù)據(jù)的處理時(shí)間控

4、制在可以接受的范圍內(nèi)。數(shù)據(jù)分析和挖掘處理利用Hadoop的MapReduce計(jì)算框架對(duì)海量數(shù)據(jù)先拆分然后并行分析處理，使海量數(shù)據(jù)的處理速度達(dá)到質(zhì)的提升。由于銷售相關(guān)數(shù)據(jù)分布在多個(gè)獨(dú)立的外部既存系統(tǒng)中，在數(shù)據(jù)分析處理之前需要把所有的相關(guān)數(shù)據(jù)聚集到本處理平臺(tái)的基于Hadoop的HDFS（分布式文件系統(tǒng)）的數(shù)據(jù)倉(cāng)庫(kù)中。例如，客戶信息需要從客戶信息系統(tǒng)中獲取，產(chǎn)品信息需要從產(chǎn)品管理系統(tǒng)中獲取，合同信息需要從合同管理系統(tǒng)中獲取等等。另外，為了確保

5、本數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)有效性，將會(huì)定期與其他外部既存系統(tǒng)同步所管理的信息。
　　基于用戶可操作性的考慮，本數(shù)據(jù)處理平臺(tái)以網(wǎng)頁(yè)的形式呈現(xiàn)給用戶。用戶可以通過網(wǎng)頁(yè)提交每一個(gè)數(shù)據(jù)處理請(qǐng)求，然后通過網(wǎng)頁(yè)查看處理結(jié)果或者下載處理結(jié)果文件。網(wǎng)頁(yè)作為與用戶的接口，需要簡(jiǎn)單實(shí)用，便于用戶操作。數(shù)據(jù)處理結(jié)果以表格、圖表等形式呈現(xiàn)給用戶，方便用戶查看，同時(shí)用戶也可以下載原始的數(shù)據(jù)文件。
　　目前，本數(shù)據(jù)處理平臺(tái)的系統(tǒng)設(shè)計(jì)和主要功能實(shí)現(xiàn)已經(jīng)基本完成