基于Hadoop的大數(shù)據(jù)相關性分析與實現(xiàn).pdf

1、隨著計算機技術的快速發(fā)展，以及各行各業(yè)辦公網(wǎng)絡化，人類積累了海量的業(yè)務數(shù)據(jù)。面對這些海量數(shù)據(jù)，如何快速高效的挖掘和分析這些數(shù)據(jù)背后的價值便成為各企業(yè)迫切的需求。本文便是在這樣一個背景下提出一種大數(shù)據(jù)相關性分析方法，并實現(xiàn)相關性分析過程。通過相關性分析系統(tǒng)分析出大數(shù)據(jù)之間的關聯(lián)信息，進行相關性分析，從而通過已有的數(shù)據(jù)去預測未知的一種變化趨勢。本文具體研究內(nèi)容如下:
　　本文搭建了大數(shù)據(jù)分 析處理平臺，并提出基于維度Rowkey

2、的設計算法。針對大數(shù)據(jù)具有數(shù)據(jù)量大、維度高、復雜度高、非結(jié)構(gòu)化等特點，搭建了基于Hadoop和HBase的大數(shù)據(jù)的存儲和處理集群，該集群包括5臺服務器，其中一臺作為master節(jié)點，另外4臺作為slave節(jié)點。通過平臺對數(shù)據(jù)進行前期處理，然后提出基于維度Rowkey的設計算法，從而實現(xiàn)有效數(shù)據(jù)切分，使得數(shù)據(jù)均衡的分布在集群中的不同節(jié)點上，從而直接提高分析平臺的并行計算效率。
　　本文中，還提出了一種Hadoop/HBase之上的大

3、數(shù)據(jù)分布式索引技術。目的是要實現(xiàn)對大數(shù)據(jù)的高效、實時的查詢和檢索。這種多維索引包括全局索引和局部索引兩級結(jié)構(gòu)，整個索引的核心在于如何創(chuàng)建局部索引并將它應用到全局。接下來提出一種基于PCA的維度排序算法，對數(shù)據(jù)進行相關性分析實驗。通過對新求出的“主元”向量的重要性進行維度排序，然后僅僅保留排名靠前的包含重要信息的那部分維度，從而達到對數(shù)據(jù)降維，簡化模型和壓縮數(shù)據(jù)的效果。最后通過R軟件對它們進行相關性分析實驗。最后利用D3和Web技術實現(xiàn)了