基于多核集群的電子商務(wù)應(yīng)用并行化研究.pdf

1、并行計(jì)算的出現(xiàn)為單機(jī)時(shí)代計(jì)算瓶頸帶來了劃時(shí)代的解決方案，同時(shí)帶動(dòng)了并行集群的發(fā)展。如今隨著計(jì)算機(jī)集群的逐步發(fā)展，并行平臺的種類也逐漸增多，各個(gè)平臺有特有的并行優(yōu)勢。云計(jì)算是一種基于因特網(wǎng)的超級計(jì)算模式，它將計(jì)算任務(wù)分割分布在大量計(jì)算機(jī)構(gòu)成的集群上，獲取超強(qiáng)計(jì)算能力、存儲空間和信息服務(wù)，是目前最為流行的計(jì)算模式。
　　近年來，電子商務(wù)市場從賣家市場轉(zhuǎn)向買家市場，促使電商之間激烈的競爭。客戶關(guān)系維系是企業(yè)發(fā)展的立足點(diǎn)，是企業(yè)盈利的前提

2、。企業(yè)想要對客戶進(jìn)行準(zhǔn)確的分析就要對客戶進(jìn)行分類，傳統(tǒng)的分類方法是基于經(jīng)驗(yàn)歸類或簡單統(tǒng)計(jì)的方法，然而在面對海量數(shù)據(jù)時(shí)，單機(jī)計(jì)算能力舉步維艱。本文針對此，將并行計(jì)算的思想引入到電子商務(wù)客戶分類研究領(lǐng)域來解決上述問題。設(shè)計(jì)了多數(shù)據(jù)表關(guān)聯(lián)算法對數(shù)據(jù)進(jìn)行預(yù)處理，把從電子商務(wù)網(wǎng)站上獲得的商品信息和歷史交易記錄中的數(shù)據(jù)關(guān)聯(lián)在一起，轉(zhuǎn)換成適合數(shù)據(jù)挖掘的形式。同時(shí)設(shè)計(jì)了客戶分類方法，選取FCM模糊聚類算法對預(yù)處理后的客戶數(shù)據(jù)分析。
　　數(shù)據(jù)表關(guān)聯(lián)

3、的傳統(tǒng)方式是使用本地并行數(shù)據(jù)庫，但面臨多個(gè)因特網(wǎng)下的海量數(shù)據(jù)表關(guān)聯(lián)時(shí)力不從心。云計(jì)算模式的Hadoop集群能解決因特網(wǎng)下的海量數(shù)據(jù)表關(guān)聯(lián)問題，Hadoop集群的高效性適用于大型數(shù)據(jù)密集型任務(wù)的計(jì)算，應(yīng)用于諸多領(lǐng)域。本文基于Hadoop集群實(shí)現(xiàn)了多個(gè)海量數(shù)據(jù)表的關(guān)聯(lián)，并對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行詳盡對比，對比結(jié)果表明Hadoop集群的高性能性在處理海量數(shù)據(jù)表連接方面有明顯的并行效率。
　　數(shù)據(jù)預(yù)處理之后的數(shù)據(jù)分析中，選取了多元統(tǒng)計(jì)分析中應(yīng)用廣泛