分布式文件系統(tǒng)管理和監(jiān)控平臺的研究與實現.pdf

1、隨著互聯網和移動信息化的快速發(fā)展，各種業(yè)務數據爆炸性增長。不停產生的海量數據需要被存儲，并需要被高速訪問。傳統(tǒng)的集中式存儲已經很難滿足這樣的需求，分布式存儲系統(tǒng)也應運而生。高吞吐量、更高的性價比、更加可靠、部署友好、易于擴展，這是正是現在的互聯網分布式存儲的主要特性。
　　HDFS正是這樣一個分布式存儲系統(tǒng)。它提供了無可匹敵的收集和存儲功能，但是隨著集群規(guī)模的增大，集群的部署，升級和維護變得越加艱難，維護人員不得不花費寶貴的時間來

2、做一些重復而繁瑣的工作。因此，在使用了基于HDFS的分布式文件系統(tǒng)之后，使用者有必要對HDFS的管理和監(jiān)控進行研究，開發(fā)出一套簡單可靠的分布式文件系統(tǒng)管理和監(jiān)控解決方案。
　　論文以實際工程項目為背景，在深入分析研究現有集群監(jiān)控技術和自動化部署技術的基礎上，在監(jiān)控方面提出了通過補充和修改Hadoop監(jiān)控模塊源代碼以實現內置的監(jiān)控客戶端的可行性和實現方法，在自動化部署方面提出了基于對等計算模型的集群部署方法，并在此基礎上設計了分布式

3、文件系統(tǒng)管理和監(jiān)控平臺的系統(tǒng)框架。整個框架由管理子系統(tǒng)和監(jiān)控子系統(tǒng)兩大部分組成。管理子系統(tǒng)包括集群部署，集群配置管理和集群管理三個模塊，本文主要介紹集群部署模塊。集群部署模塊包括文件服務器和文件客戶端。監(jiān)控子系統(tǒng)包括監(jiān)控客戶端和監(jiān)控服務器兩個部分。在此系統(tǒng)框架下論文詳細介紹了系統(tǒng)的詳細設計和實現。
　　通過測試，驗證了系統(tǒng)的有效性和正確性。與其他同類產品相比，本文提出的系統(tǒng)經過高度定制，能獲取自定義的監(jiān)控信息，更適合監(jiān)控和管理HD