基于Hadoop平臺的監(jiān)控和行為審計關鍵技術研究.pdf

1、隨著企業(yè)大規(guī)模數(shù)據(jù)在不同垂直業(yè)務領域的應用和擴展，得益于Hadoop集群的處理效率高、可擴展性強和成本低等特性，越來越多的企業(yè)將Hadoop集群作為主要的數(shù)據(jù)存儲和處理工具。但是，由于Hadoop集群本身具有資源多樣性、復雜性等特點，導致節(jié)點故障頻發(fā)，給集群的資源監(jiān)控帶來了極大挑戰(zhàn)。此外，Hadoop的安全機制相對薄弱且都屬于靜態(tài)安全技術，缺少對用戶行為活動的監(jiān)控，導致容易遭受隱藏的安全威脅，集群的數(shù)據(jù)安全難以得到保障。針對用戶行為活動

2、的監(jiān)控，提出了一種Hadoop集群環(huán)境下的用戶行為異常檢測方法，提高了集群的數(shù)據(jù)安全性。在充分研究和分析現(xiàn)有資源監(jiān)控技術的基礎上，提出了一個監(jiān)控框架整合改造方案，克服了現(xiàn)有框架的諸多缺點。
　　在Hadoop集群用戶活動監(jiān)控方面，首先研究和分析了傳統(tǒng)主成分分析算法的缺點，即在大規(guī)模數(shù)據(jù)情況下的內(nèi)存限制以及效率不高的問題，本文分解算法中協(xié)方差矩陣的計算過程，基于MapReduce對其做并行化處理，較好的解決了上述問題。然后分析用戶對

3、HDFS的操作行為，提出了一個基于并行化主成分分析的用戶行為異常檢測方法，利用本文算法基于用戶對HDFS的數(shù)據(jù)操作記錄進行離線訓練建模，提取其行為模式。檢測時把當前用戶的行為模式與訓練得到的歷史正常行為模式進行比較，基于歐氏距離度量標準評判當前行為是否異常。該方法不僅降低了數(shù)據(jù)特征的冗余，提高了數(shù)據(jù)處理的效率，而且具有較好的檢測結果。
　　在Hadoop集群資源監(jiān)控方面，首先研究和分析了現(xiàn)有監(jiān)控框架的優(yōu)點和缺陷，選擇Ganglia

4、收集集群的監(jiān)控指標，然后利用本文實現(xiàn)的數(shù)據(jù)抽取模塊把上述指標與Nagios報警框架進行對接，滿足Nagios狀態(tài)顯示劃分等級的功能需求，最終提出了一個集監(jiān)控和報警于一體的集群資源監(jiān)控框架。本文框架充分利用Ganglia和Nagios各自優(yōu)勢，克服了Ganglia告警功能的欠缺和Nagios監(jiān)控功能的局限，而且本文數(shù)據(jù)抽取模塊使得Nagios避開了自身監(jiān)控服務的開銷，實現(xiàn)了整合框架的輕量級監(jiān)控。
　　最后，本文對Hadoop集群的資