基于最終一致性的HDFS讀寫技術(shù)的研究與優(yōu)化.pdf

1、隨著信息技術(shù)的快速發(fā)展，云計算、大數(shù)據(jù)等熱門行業(yè)崛起，傳統(tǒng)的單機作業(yè)不再能滿足用戶日益增長的需求。越來越多的個人以及企業(yè)都將平臺重心從單機轉(zhuǎn)移至分布式平臺。Hadoop以其高可靠、高擴展、高性能、高容錯、低成本的特性成為當下炙手可熱的分布式系統(tǒng)基礎(chǔ)架構(gòu)，被越來越多的用戶及開發(fā)者接受，廣泛運用于不同的生產(chǎn)環(huán)境。HDFS作為Hadoop的底層存儲實現(xiàn)不僅高效地服務(wù)于Hadoop，還被用于其他分布式系統(tǒng)基礎(chǔ)架構(gòu)例如Spark等。
　　H

2、DFS全名為Hadoop Distributed File System，是Hadoop項目的一個子項目，它被設(shè)計為運行在通用硬件上的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多相似之處，同樣的，不同之處也十分明顯。HDFS具有高容錯性，可以被廣泛運用于廉價的，淘汰的硬件。HDFS可以提供對應(yīng)用高吞吐的訪問，尤其適用于擁有大數(shù)據(jù)集的應(yīng)用。然而隨著HDFS被用于更多的生產(chǎn)環(huán)境，新的需求被逐漸提出，希望HDFS支持低延遲高性能的特性，以便

3、用戶可以盡快對寫入HDFS的文件進行讀取與分析。
　　為了實現(xiàn)低延遲高性能的分布式文件系統(tǒng)，本文首先研究了 HDFS的現(xiàn)有讀寫方法，結(jié)合國內(nèi)外對讀寫技術(shù)優(yōu)化方案的研究現(xiàn)狀分析了各自的優(yōu)缺點，并提出了可以有用方案。此方案根據(jù)HDFS在寫入數(shù)據(jù)時數(shù)據(jù)節(jié)點必須依次寫入的特性，結(jié)合最終一致性理論，實現(xiàn)了分布式文件系統(tǒng)低延遲高性能的特性。該方案首先打破了HDFS在寫入操作階段強一致性的要求，使用最終一致性理論，使得用戶可以在文件系統(tǒng)尚未完全