大數(shù)據(jù)環(huán)境下Hadoop平臺性能優(yōu)化研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及各種移動設(shè)備的普及，當(dāng)今社會數(shù)據(jù)規(guī)模已呈指數(shù)增長。數(shù)據(jù)種類包含了文本、語音、視頻、網(wǎng)絡(luò)日志等多種形式，大數(shù)據(jù)時代已然來臨。在大數(shù)據(jù)時代，將已有的海量數(shù)據(jù)信息進行專業(yè)分析和處理，使得原始數(shù)據(jù)增值、可利用是亟需解決的關(guān)鍵問題。如今，Hadoop是一個能夠有效的對海量數(shù)據(jù)進行分析與處理的開源平臺，具有高可靠性、高擴展性、高效性以及高容錯性等優(yōu)點。因此，本文在大數(shù)據(jù)環(huán)境下對Hadoop平臺的性能進行研究

2、和優(yōu)化有著重要的現(xiàn)實意義。
　　本文首先對Hadoop平臺進行了簡單的介紹，重點研究了Hadoop平臺的核心組成部分HDFS和MapReduce，對二者的組成部分、運行原理進行了深入的研究，在分析HDFS和MapReduce源碼的基礎(chǔ)上，提出了HDFS中Namenode存在的單點失效問題以及MapReduce在處理連接問題時效率不高兩個性能問題并對其進行優(yōu)化研究。針對HDFS中Namenode單點失效問題，本文在對現(xiàn)有解決方案進行

3、研究的基礎(chǔ)上，提出一種改進的Avatar機制，改進的Avatar機制是一個能夠支持自動切換，支持二次故障并且不丟失數(shù)據(jù)的方案。針對MapReduce處理連接算法時所表現(xiàn)的效率低下問題，本文提出一種基于計數(shù)型Bloom過濾器的星型連接算法，該算法能夠有效降低磁盤的I/O開銷，大大縮短連接時間，提高了Hadoop分析海量數(shù)據(jù)的速度。
　　最后，搭建了實驗平臺對改進的Avatar機制和基于計數(shù)型Bloom過濾器的星型連接算法進行實驗驗證