面向高速網(wǎng)絡傳輸?shù)姆植际较到y(tǒng)讀操作優(yōu)化方法研究.pdf

1、在海量數(shù)據(jù)存儲與大數(shù)據(jù)處理中，普遍采用了基于 HDFS(Hadoop Distributed File System，Hadoop分布式文件系統(tǒng))架構的集群來存儲數(shù)據(jù)。為支持大數(shù)據(jù)分析在海量數(shù)據(jù)上進行實時查詢和秒級響應的需求，數(shù)據(jù)中心內(nèi)部普遍使用高速網(wǎng)絡，但是，現(xiàn)有的基于 HDFS架構的分布式文件系統(tǒng)的讀性能并不能夠隨著網(wǎng)絡速度的增加而線性增長?，F(xiàn)有的分布式文件系統(tǒng)在高速網(wǎng)絡環(huán)境下，由于受制于磁盤I/O速度，讀操作吞吐量性能不高，不能充

2、分利用高速網(wǎng)絡資源，為上層應用提供高效的數(shù)據(jù)服務。
　　針對以上問題，提出一種節(jié)約內(nèi)存的緩存管理機制MSBM（Memory Saving Buffer Manager）。MSBM緩存管理機制在數(shù)據(jù)服務器端對數(shù)據(jù)做緩存，保證客戶端下一次到數(shù)據(jù)服務器端讀取數(shù)據(jù)時，需要的數(shù)據(jù)已經(jīng)在緩存中。MSBM緩存管理機制在數(shù)據(jù)服務器端設計了僅預取一個數(shù)據(jù)塊的緩存預取策略，從而在使用緩存提高讀性能的同時，盡量節(jié)省內(nèi)存使用率，使緩存管理機制適用于運行在

3、數(shù)量龐大而又廉價的分布式集群上。三個緩存管理隊列被用以管理數(shù)據(jù)塊在緩存中的置入與置出，并提供讀取數(shù)據(jù)的服務。此外，還有相應的負載決策被提出以使緩存策略達到最優(yōu)效果，從而使分布式文件系統(tǒng)在高速網(wǎng)絡環(huán)境下，能夠?qū)Ａ看笪募崿F(xiàn)高效的緩存管理，充分利用InfiniBand網(wǎng)絡，提升整個分布式文件系統(tǒng)的讀數(shù)據(jù)的性能。
　　通過分別對有無MSBM緩存管理機制，以及在千兆以太網(wǎng)和InfiniBand網(wǎng)絡上進行測試對比，MSBM緩存管理機制對于