面向光盤庫的HDFS文件系統(tǒng)應用研究與實現(xiàn).pdf

1、隨著互聯(lián)網時代的到來，各種用于提供大數據存儲服務的分布式文件系統(tǒng)應運而生，HDFS就是其中一個應用非常廣泛的開源分布式文件系統(tǒng)。然而，在分布式文件系統(tǒng)中真正有用的熱數據只占很少的一部分，其中大部分的冷數據在短期內都不會被使用。因此對這些冷數據進行歸檔和備份變得非常重要。另一方面，由于光盤庫具有數據保存時間長、成本低、存取速度相對較好的特點，使得光盤庫非常適合作為數據的長期保存介質。因此，將光盤庫作為第三級存儲介質可以用于解決分布式文件系

2、統(tǒng)冷數據的歸檔和備份的問題。
　　為了將光盤庫應用在HDFS上，首先研究了現(xiàn)有光盤庫系統(tǒng)的結構特點，以及光盤庫系統(tǒng)中優(yōu)化文件讀寫性能的策略，包括緩存替換策略和I/O調度策略等；也分析了運用于數據歸檔和備份的磁帶庫系統(tǒng)的優(yōu)化策略；然后研究了HDFS的具體架構，通信方式以及讀寫文件的具體過程；最后在HDFS上實現(xiàn)了一種光盤庫文件管理系統(tǒng)，其中主要包括小文件合并策略、塊文件緩存策略和光盤庫I/O調度策略等三種優(yōu)化策略。
　　最終通