基于HDFS的海量小文件讀寫策略研究.pdf

1、當前網絡信息技術與云計算技術迅猛發(fā)展，互聯網內容由網站管理人員主導逐漸過渡為用戶主導，這種變化使得人們可以隨時隨地通過互聯網服務獲取或者生成海量的數據，如何有效地管理這些個人或公共數據已成為當務之急。傳統(tǒng)的存儲架構在當前互聯網數據存儲場景中表現較差，且其擴展性差、數據安全性低、維護與管理成本高、災備能力差等缺陷日益明顯。將個人數據集中存儲至云服務中統(tǒng)一管理的分布式云存儲系統(tǒng)受到IT界的廣泛關注，用戶無需在本地持有大量的存儲空間，只需要通

2、過智能設備就能夠便捷地獲取到云端數據。這種分布式的云存取結構可以很好地解決上述問題，并且滿足大規(guī)模用戶并發(fā)訪問的需求。
　　Hadoop是一個可部署在廉價設備上的分布式開源平臺，其核心之一的HDFS作為一種新型的云存儲平臺，能夠很好地解決爆炸性數據的存儲與管理難題。本文主要針對海量小文件讀寫這一場景，對分布式文件系統(tǒng)HDFS進行了詳細分析，并關于HDFS存在的小文件問題、節(jié)點選擇問題和讀取緩存問題，提出了基于Redis集群的HDF

3、S改進方案RCHDFS。
　　首先，從基本系統(tǒng)組成與工作原理方面對GFS、MooseFS、HDFS等典型的分布式存儲系統(tǒng)進行研究，分析HDFS系統(tǒng)的主要組件與依賴關系，深入研究了NameNode、DataNode、DFSClient的工作原理及對應源碼實現。
　　然后，通過對大量中外文獻的分析與相關技術的研究，針對HDFS的固有問題，分析了已有的解決方案，隨后提出了改進方案，分為3個部分。一是提出了在DataNode節(jié)點中部

4、署Redis集群服務的方法，使得Redis服務可以承擔大部分NameNode的管理任務，集群的內存使用可以均勻地分布在不同的DataNode節(jié)點上，緩解NameNode的內存消耗和NameNode并發(fā)壓力;二是提出了基于節(jié)點處理能力和數據塊在節(jié)點中分布均衡性的最優(yōu)讀寫節(jié)點選擇方法，優(yōu)化了HDFS機架感知策略，既保證了數據塊的均衡，又降低了文件讀寫時延;三是提出了基于混合緩存的中小文件讀取方法，在Redis中緩存熱點小文件，在Client