面向Hadoop的云計算平臺安全監(jiān)測技術(shù)研究.pdf

1、云計算代表了IT領(lǐng)域向集約化、規(guī)?；c專業(yè)化道路發(fā)展的趨勢,是IT領(lǐng)域正在發(fā)生的深刻變革。它極大的提高了各類資源的使用效率,但同時也對用戶信息資產(chǎn)安全與隱私保護(hù)帶來極大的沖擊與挑戰(zhàn)。Hadoop作為一種開源的基礎(chǔ)云計算框架,在企業(yè)界得到了越來越廣泛的關(guān)注,但是其對云計算平臺的安全問題尚未得到有效解決。由此可知,Hadoop在安全機(jī)制方面的薄弱已成為阻礙其發(fā)展的主要問題之一。因此,Hadoop平臺安全監(jiān)測技術(shù)的研究,將在一定程度上,提高用

2、戶對Hadoop的信任,從而推動Hadoop的發(fā)展。
　　本文在研究Hadoop安全問題的基礎(chǔ)上,針對Hadoop集群數(shù)據(jù)安全及資源安全的不同特征,提出一種用戶行為的數(shù)據(jù)訪問異常檢測技術(shù)及一種資源消耗的異常檢測技術(shù),實現(xiàn)對Hadoop集群的安全監(jiān)測,從而提高Hadoop集群的安全性。本文的主要工作如下:
　　首先,針對Hadoop HDFS的數(shù)據(jù)訪問方式,提出一種基于隱馬爾科夫模型的用戶訪問行為異常檢測技術(shù)。不同于其他的基于

3、關(guān)聯(lián)分析的用戶行為異常檢測技術(shù),該方法針對單個用戶的微命令序列實施監(jiān)測,避免了關(guān)聯(lián)分析中數(shù)據(jù)挖掘過程和多特征的數(shù)據(jù)預(yù)處理過程,從而大大降低了時間和空間復(fù)雜度,提高了用戶異常行為監(jiān)測的實時性。
　　其次,針對Hadoop平臺分布式存儲和分布式計算的資源消耗特點,提出一種基于KNN的資源消耗異常檢測技術(shù)。該方法通過將k-近鄰方法運用到時間子序列模式上,同時結(jié)合滑動窗口,實現(xiàn)子序列模式的局部異常檢測,從而發(fā)現(xiàn)模式異常。此方法改進(jìn)了一般基