基于內(nèi)存的HDFS數(shù)據(jù)存儲(chǔ)技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)時(shí)代信息與數(shù)據(jù)的飛速增長，各行各業(yè)的數(shù)據(jù)規(guī)模都可以輕易地達(dá)到GB、TB甚至PB級(jí)。云計(jì)算數(shù)據(jù)處理系統(tǒng)Hadoop應(yīng)運(yùn)而生，其開源社區(qū)資源豐富，用戶廣泛，為各種大數(shù)據(jù)處理提供可靠的、性能可擴(kuò)展的、靈活的計(jì)算環(huán)境。Hadoop數(shù)據(jù)處理平臺(tái)上的大數(shù)據(jù)存儲(chǔ)依賴于底層的分布式文件系統(tǒng)。然而該文件系統(tǒng)支持的存儲(chǔ)介質(zhì)單一，許多工作流的中間數(shù)據(jù)需要進(jìn)行頻繁的磁盤讀寫，這種讀寫開銷不斷增長影響了整個(gè)數(shù)據(jù)處理過程的效率。本文針對云環(huán)境下的海量數(shù)據(jù)

2、存儲(chǔ)介質(zhì)單一導(dǎo)致吞吐率較低和數(shù)據(jù)訪問時(shí)延較長問題，研究基于內(nèi)存的Hadoop分布式文件系統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)。
　　本文分析了當(dāng)前分布式文件系統(tǒng)的系統(tǒng)架構(gòu)和數(shù)據(jù)存儲(chǔ)過程，設(shè)計(jì)基于內(nèi)存的分布式文件系統(tǒng)。通過合理分配各個(gè)數(shù)據(jù)節(jié)點(diǎn)上可用的內(nèi)存資源，使得集群中的數(shù)據(jù)節(jié)點(diǎn)可以有效管理一部分內(nèi)存存儲(chǔ)空間，實(shí)現(xiàn)分布式文件系統(tǒng)在進(jìn)行數(shù)據(jù)讀寫操作時(shí)優(yōu)先使用內(nèi)存存儲(chǔ)資源，提高數(shù)據(jù)的讀寫速率，使得整個(gè)系統(tǒng)的數(shù)據(jù)吞吐率隨之提高。并在副本放置過程中，區(qū)分各個(gè)數(shù)據(jù)

3、節(jié)點(diǎn)上內(nèi)存存儲(chǔ)資源與磁盤存儲(chǔ)資源的差異，建立副本放置代價(jià)模型，選取存儲(chǔ)和網(wǎng)絡(luò)傳輸代價(jià)較小的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行副本放置，使得更多的數(shù)據(jù)寫入內(nèi)存中，加快數(shù)據(jù)的讀寫效率。最后本文提出了合理的內(nèi)存數(shù)據(jù)置換方法，設(shè)定合理的觸發(fā)和停止數(shù)據(jù)置換的閾值，設(shè)計(jì)文件熱度計(jì)算與更新算法，在數(shù)據(jù)置換時(shí)，將內(nèi)存中熱度較低的文件置換到磁盤中，保證集群中的數(shù)據(jù)節(jié)點(diǎn)上有一定的內(nèi)存可用空間，可以持續(xù)的為用戶提供高吞吐率的數(shù)據(jù)讀寫服務(wù)。
　　本文改進(jìn)現(xiàn)有的HDFS，設(shè)計(jì)開