電子商務(wù)數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、計(jì)算機(jī)應(yīng)用未來的發(fā)展方向是對(duì)數(shù)據(jù)的深度處理，在大數(shù)據(jù)概念提出以后，如何對(duì)研究領(lǐng)域中的數(shù)據(jù)進(jìn)行采集、處理、挖掘、應(yīng)用，成為各個(gè)行業(yè)研究的熱點(diǎn)。電子商務(wù)改變了傳統(tǒng)的經(jīng)營模式，是互聯(lián)網(wǎng)最成功的應(yīng)用之一，而電子商務(wù)中產(chǎn)生的大量數(shù)據(jù)，具有十分重要的應(yīng)用價(jià)值。
　　1、針對(duì)目前在電子商務(wù)領(lǐng)域中，數(shù)據(jù)分析和應(yīng)用并不十分廣泛，而且一般只關(guān)注于某一方面研究分析，無法對(duì)數(shù)據(jù)進(jìn)行全面分析處理的缺點(diǎn)，提出了電子商務(wù)數(shù)據(jù)分析平臺(tái)模型，該模型主要包括數(shù)據(jù)源層

2、，操作數(shù)據(jù)層，數(shù)據(jù)集成層，數(shù)據(jù)處理層，數(shù)據(jù)應(yīng)用層五個(gè)組成部分，其中數(shù)據(jù)源層由多個(gè)異構(gòu)數(shù)據(jù)庫組成，分別存儲(chǔ)電子商務(wù)系統(tǒng)運(yùn)營過程中產(chǎn)生的不同類型數(shù)據(jù)。
　　2、在總體架構(gòu)中，操作數(shù)據(jù)層是對(duì)數(shù)據(jù)源層進(jìn)行提取，主要是最近一個(gè)時(shí)期的“熱”數(shù)據(jù)，并可實(shí)現(xiàn)對(duì)數(shù)據(jù)細(xì)節(jié)的查詢;數(shù)據(jù)集成層是根據(jù)分析應(yīng)用的需求，將操作數(shù)據(jù)層中的數(shù)據(jù)進(jìn)行集成處理，主要是為數(shù)據(jù)的應(yīng)用提供基礎(chǔ);數(shù)據(jù)處理層是采用數(shù)據(jù)挖掘、數(shù)據(jù)聯(lián)機(jī)分析處理、數(shù)據(jù)統(tǒng)計(jì)等各類分析方法，對(duì)集成后的數(shù)

3、據(jù)進(jìn)行處理;數(shù)據(jù)應(yīng)用層是根據(jù)用戶的業(yè)務(wù)需求構(gòu)建數(shù)據(jù)處理應(yīng)用，并調(diào)用各類數(shù)據(jù)分析方法，獲取分析結(jié)果。為了使電子商務(wù)數(shù)據(jù)分析平臺(tái)具有對(duì)海量數(shù)據(jù)進(jìn)行處理的能力，在平臺(tái)具體實(shí)現(xiàn)方面引入了Hadoop平臺(tái)技術(shù)，利用基于HDFS的分布式存儲(chǔ)模式，提高對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和處理能力，同時(shí)也拓展了系統(tǒng)的擴(kuò)展能力。
　　3、針對(duì)對(duì)于大量數(shù)據(jù)的處理效率問題，采用Map/Reduce并行運(yùn)算技術(shù)，將該技術(shù)與電子商務(wù)數(shù)據(jù)分析平臺(tái)相結(jié)合，作為對(duì)數(shù)據(jù)挖掘進(jìn)行

4、處理的工具，并對(duì)Apriori算法進(jìn)行了改進(jìn)，提高了分類數(shù)據(jù)挖掘的運(yùn)算效率;設(shè)計(jì)了電子商務(wù)數(shù)據(jù)分析平臺(tái)應(yīng)用層的功能架構(gòu)，通過對(duì)電子商務(wù)數(shù)據(jù)分析業(yè)務(wù)流程的討論，確定了系統(tǒng)應(yīng)用的目標(biāo)，討論了功能設(shè)計(jì)方案和實(shí)現(xiàn)過程，并通過測試驗(yàn)證功能的有效性。
　　電子商務(wù)數(shù)據(jù)分析平臺(tái)采用分層架構(gòu)模式，充分利用各類智能數(shù)據(jù)處理技術(shù)對(duì)電子商務(wù)平臺(tái)中的數(shù)據(jù)進(jìn)行分析，以滿足用戶不同的應(yīng)用需求，為電子商務(wù)系統(tǒng)的管理者改進(jìn)經(jīng)營模式，更好地維護(hù)客戶關(guān)系，提高經(jīng)濟(jì)效