HDFS分布式文件系統(tǒng)存儲(chǔ)策略研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和應(yīng)用，帶來(lái)了數(shù)據(jù)規(guī)模的爆炸式增長(zhǎng)，使得大規(guī)模數(shù)據(jù)存儲(chǔ)和處理成為目前高性能計(jì)算領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的數(shù)據(jù)處理模式多用于計(jì)算密集型作業(yè)。分布式存儲(chǔ)的出現(xiàn)為海量的數(shù)據(jù)存儲(chǔ)提供了全新的解決方案，它以“按需付費(fèi)”的獨(dú)特模式，為用戶提供低成本、高可靠性、高性能的在線數(shù)據(jù)存儲(chǔ)和訪問(wèn)服務(wù)。因此，如何在保證數(shù)據(jù)可用性和可靠性前提下高效存儲(chǔ)和訪問(wèn)數(shù)據(jù)，成為分布式存儲(chǔ)系統(tǒng)中尤為關(guān)鍵的一個(gè)問(wèn)題。
　　現(xiàn)有的數(shù)據(jù)副本決策算法主要是基于

2、整個(gè)文件訪問(wèn)情況進(jìn)行動(dòng)態(tài)調(diào)整，然而，很多時(shí)候用戶僅僅對(duì)文件中的部分?jǐn)?shù)據(jù)塊感興趣，如果單純的基于整個(gè)文件進(jìn)行副本系數(shù)動(dòng)態(tài)調(diào)整，有可能降低集群存儲(chǔ)資源利用率和增加數(shù)據(jù)副本一致性維護(hù)開(kāi)銷(xiāo)。同時(shí)，在某些應(yīng)用場(chǎng)景下，如視頻點(diǎn)播應(yīng)用中，HDFS并沒(méi)有針對(duì)那些被用戶頻繁訪問(wèn)的熱點(diǎn)數(shù)據(jù)進(jìn)行讀取優(yōu)化。重復(fù)數(shù)據(jù)的頻繁訪問(wèn)會(huì)使得DataNode節(jié)點(diǎn)產(chǎn)生頻繁的磁盤(pán)I/O操作，增加數(shù)據(jù)訪問(wèn)延遲。同時(shí)，由于數(shù)據(jù)的重復(fù)傳輸大大浪費(fèi)了集群系統(tǒng)網(wǎng)絡(luò)流量。
　　針對(duì)

3、上述問(wèn)題，本文在HDFS分布式文件系統(tǒng)的數(shù)據(jù)副本管理策略和數(shù)據(jù)訪問(wèn)流程兩方面展開(kāi)深入研究。本文完成的主要工作如下：
　　1.在深入分析現(xiàn)有分布式存儲(chǔ)系統(tǒng)數(shù)據(jù)副本管理技術(shù)的基礎(chǔ)上，提出了基于數(shù)據(jù)塊的副本系數(shù)動(dòng)態(tài)調(diào)整策略。該策略基于數(shù)據(jù)塊而非整個(gè)文件實(shí)現(xiàn)，首先，在數(shù)據(jù)訪問(wèn)具有時(shí)間局部性原則下，通過(guò)為數(shù)據(jù)塊的各個(gè)歷史訪問(wèn)周期賦予不同的權(quán)重，預(yù)測(cè)出數(shù)據(jù)塊下一周期的訪問(wèn)頻率。然后，根據(jù) HDFS中數(shù)據(jù)訪問(wèn)規(guī)律近似二八定律這一事實(shí)確定熱點(diǎn)數(shù)據(jù)

4、塊閾值，從而對(duì)數(shù)據(jù)塊進(jìn)行熱點(diǎn)判定，根據(jù)判定結(jié)果動(dòng)態(tài)調(diào)整數(shù)據(jù)塊副本系數(shù)。最后，通過(guò)實(shí)驗(yàn)對(duì)該策略的有效性進(jìn)行驗(yàn)證。
　　2.在對(duì)HDFS文件讀取過(guò)程進(jìn)行深入分析后，針對(duì)HDFS中頻繁訪問(wèn)的熱點(diǎn)數(shù)據(jù)提出了一種基于熱點(diǎn)數(shù)據(jù)塊的DataNode本地二級(jí)緩存策略。該策略通過(guò)在DataNode節(jié)點(diǎn)設(shè)置基于本地內(nèi)存和本地磁盤(pán)的二級(jí)緩存機(jī)制，分別用于緩存HDFS中那些被頻繁訪問(wèn)的熱點(diǎn)小文件和熱點(diǎn)大文件。該策略一定程度上提高了數(shù)據(jù)訪問(wèn)效率，減少了Da