基于Hadoop的電商數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著計算機技術(shù)、網(wǎng)絡(luò)技術(shù)和Internet技術(shù)的發(fā)展，以及各行業(yè)業(yè)務(wù)操作流程的自動化，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長，數(shù)據(jù)動輒以TB計算。這些數(shù)據(jù)及產(chǎn)生的信息如實的記錄著企業(yè)運作的狀況。面對這些海量的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析工具存在很多缺陷，無法有效地進行處理分析。數(shù)據(jù)格式的多樣性，數(shù)據(jù)的復(fù)雜性導(dǎo)致數(shù)據(jù)融合困難，單機存儲存儲量有限，且查詢效率低，同時基于單機處理的數(shù)據(jù)分析有很大的局限性，它只能處理小規(guī)模的、規(guī)范化的數(shù)據(jù)，運行速度慢，很難進

2、行深層次的數(shù)據(jù)挖掘。因此人們不斷探索新的工具來分析企業(yè)的運營規(guī)律，為決策人員提供有價值的信息。隨著以互聯(lián)網(wǎng)為代表的信息技術(shù)深度發(fā)展，傳統(tǒng)機器的軟硬件不足以支持如此龐大的數(shù)據(jù)量的存儲、管理及分析能力，因而專門應(yīng)對大數(shù)據(jù)的分布式處理技術(shù)應(yīng)運而生。如今業(yè)界大數(shù)據(jù)處理的主流平臺非Hadoop莫屬。Hadoop自推出以來因其在大數(shù)據(jù)領(lǐng)域的廣泛實用性，很快在工商業(yè)界得到普及應(yīng)用，同時得到了學(xué)術(shù)界的廣泛研究。在短短的幾年中，Hadoop很快成為到目前

3、為止最為成功、最廣泛使用的大數(shù)據(jù)處理主流技術(shù)和系統(tǒng)平臺，并且成為一種大數(shù)據(jù)處理事實上的標準，得到了各行業(yè)大量的進一步探索與研究應(yīng)用，尤其是在互聯(lián)網(wǎng)行業(yè)得到了廣泛的應(yīng)用。
　　由于傳統(tǒng)的數(shù)據(jù)分析使用在單機系統(tǒng)上的局限性，當(dāng)處理大量數(shù)據(jù)時，會顯著的影響系統(tǒng)性能。因此為解決這一問題，本文在深入分析Hadoop大數(shù)據(jù)平臺的相關(guān)技術(shù)下，提出了基于Hadoop的電商數(shù)據(jù)分析的系統(tǒng)方案，幫助企業(yè)利用有效的數(shù)據(jù)分析方法更好地作出商務(wù)決策。此方案利

4、用Flume采集用戶在電商網(wǎng)站上產(chǎn)生的海量用戶行為數(shù)據(jù)，并存儲到HDFS分布式文件系統(tǒng)上，以MapReduce計算框架為數(shù)據(jù)處理方式，利用Hive從不同維度對數(shù)據(jù)進行統(tǒng)計分析，最后本文提出了一種改進的K-means聚類和協(xié)同過濾混合推薦算法對用戶進行商品推薦。本文根據(jù)需求分析對系統(tǒng)架構(gòu)和業(yè)務(wù)流程進行了詳細設(shè)計，將系統(tǒng)分為四個模塊:數(shù)據(jù)收集模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)展示模塊及數(shù)據(jù)應(yīng)用模塊。并對這四個模塊進行了詳細的設(shè)計和實現(xiàn)。最后基于此系統(tǒng)

5、完成了某電商公司日志文件分析和商品評論分析，同時在此基礎(chǔ)上進行了用戶推薦的測試。通過獲得的數(shù)據(jù)分析結(jié)果，可以幫助公司對網(wǎng)站的應(yīng)用有一個比較好的了解，并且更加詳細地了解用戶的行為習(xí)慣，從而找出網(wǎng)站、推廣渠道等營銷環(huán)境存在的問題，有助于營銷的精準化，提升公司的效益。
　　本文介紹商品評論的分析挖掘目標和流程，對商品評論數(shù)據(jù)進行可視化分析，并提出了基于分詞法和評分的方法用于評論數(shù)據(jù)情感分析。且提出了一種改進的K-means聚類和協(xié)同過濾