Hadoop在商業(yè)智能中的研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的高速發(fā)展，全球進(jìn)入大數(shù)據(jù)時代。伴隨著這些急速膨脹的數(shù)據(jù)規(guī)模，決策者以及客戶在海量數(shù)據(jù)中如何獲取有效信息是當(dāng)前需要解決的首要問題。商業(yè)智能領(lǐng)域的發(fā)展使得企業(yè)將數(shù)據(jù)轉(zhuǎn)化為知識成為了可能，其中推薦算法的出現(xiàn)則構(gòu)建了一條產(chǎn)品、信息與用戶之間的有效通道。此外，Hadoop平臺研究的迅速發(fā)展使得利用分布式技術(shù)處理大數(shù)據(jù)分析更為有效和方便。本文通過對當(dāng)前個性化推薦算法的研究，利用灰色系統(tǒng)的理論知識，結(jié)合分布式平臺處理大數(shù)據(jù)的方法，

2、提出一種基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法。
　　首先，本文對協(xié)同過濾推薦算法進(jìn)行研究，主要介紹了基于用戶的、基于項目的和基于模型的這三種協(xié)同過濾推薦算法，對這三種協(xié)同過濾推薦算法的實現(xiàn)進(jìn)行研究；其次，對灰色系統(tǒng)中的灰色關(guān)聯(lián)分析進(jìn)行研究，詳細(xì)介紹了不同的灰色關(guān)聯(lián)度模型的特征和計算方法；然后，通過對 Hadoop生態(tài)系統(tǒng)的重點(diǎn)探討，研究分布式系統(tǒng)的存儲和讀寫原理，分布式數(shù)據(jù)庫的設(shè)計原理，并利用MapReduce研究分布式系統(tǒng)的

3、并行化計算和調(diào)度機(jī)制。根據(jù)上述理論知識的研究，本課題將灰色關(guān)聯(lián)分析和分布式理論結(jié)合，給出一種基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法，該算法解決了當(dāng)前協(xié)同過濾推薦算法面臨的評分矩陣信息因素不完全和不確定性，以及數(shù)據(jù)稀疏性和當(dāng)數(shù)據(jù)規(guī)模較大時出現(xiàn)的計算瓶頸及可擴(kuò)展性等問題。在文章最后，設(shè)計并實施 Hadoop分布式系統(tǒng)和分布式數(shù)據(jù)庫服務(wù)器集群，利用該集群實現(xiàn)了本文所提出的算法。
　　實驗表明，基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法可