Hadoop在商業(yè)智能中的研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的高速發(fā)展，全球進(jìn)入大數(shù)據(jù)時(shí)代。伴隨著這些急速膨脹的數(shù)據(jù)規(guī)模，決策者以及客戶在海量數(shù)據(jù)中如何獲取有效信息是當(dāng)前需要解決的首要問題。商業(yè)智能領(lǐng)域的發(fā)展使得企業(yè)將數(shù)據(jù)轉(zhuǎn)化為知識(shí)成為了可能，其中推薦算法的出現(xiàn)則構(gòu)建了一條產(chǎn)品、信息與用戶之間的有效通道。此外，Hadoop平臺(tái)研究的迅速發(fā)展使得利用分布式技術(shù)處理大數(shù)據(jù)分析更為有效和方便。本文通過對(duì)當(dāng)前個(gè)性化推薦算法的研究，利用灰色系統(tǒng)的理論知識(shí)，結(jié)合分布式平臺(tái)處理大數(shù)據(jù)的方法，

2、提出一種基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法。
　　首先，本文對(duì)協(xié)同過濾推薦算法進(jìn)行研究，主要介紹了基于用戶的、基于項(xiàng)目的和基于模型的這三種協(xié)同過濾推薦算法，對(duì)這三種協(xié)同過濾推薦算法的實(shí)現(xiàn)進(jìn)行研究；其次，對(duì)灰色系統(tǒng)中的灰色關(guān)聯(lián)分析進(jìn)行研究，詳細(xì)介紹了不同的灰色關(guān)聯(lián)度模型的特征和計(jì)算方法；然后，通過對(duì) Hadoop生態(tài)系統(tǒng)的重點(diǎn)探討，研究分布式系統(tǒng)的存儲(chǔ)和讀寫原理，分布式數(shù)據(jù)庫的設(shè)計(jì)原理，并利用MapReduce研究分布式系統(tǒng)的

3、并行化計(jì)算和調(diào)度機(jī)制。根據(jù)上述理論知識(shí)的研究，本課題將灰色關(guān)聯(lián)分析和分布式理論結(jié)合，給出一種基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法，該算法解決了當(dāng)前協(xié)同過濾推薦算法面臨的評(píng)分矩陣信息因素不完全和不確定性，以及數(shù)據(jù)稀疏性和當(dāng)數(shù)據(jù)規(guī)模較大時(shí)出現(xiàn)的計(jì)算瓶頸及可擴(kuò)展性等問題。在文章最后，設(shè)計(jì)并實(shí)施 Hadoop分布式系統(tǒng)和分布式數(shù)據(jù)庫服務(wù)器集群，利用該集群實(shí)現(xiàn)了本文所提出的算法。
　　實(shí)驗(yàn)表明，基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法可