面向Hadoop的云計(jì)算平臺(tái)安全監(jiān)測(cè)技術(shù)研究.pdf

1、云計(jì)算代表了IT領(lǐng)域向集約化、規(guī)?；c專業(yè)化道路發(fā)展的趨勢(shì),是IT領(lǐng)域正在發(fā)生的深刻變革。它極大的提高了各類資源的使用效率,但同時(shí)也對(duì)用戶信息資產(chǎn)安全與隱私保護(hù)帶來(lái)極大的沖擊與挑戰(zhàn)。Hadoop作為一種開源的基礎(chǔ)云計(jì)算框架,在企業(yè)界得到了越來(lái)越廣泛的關(guān)注,但是其對(duì)云計(jì)算平臺(tái)的安全問(wèn)題尚未得到有效解決。由此可知,Hadoop在安全機(jī)制方面的薄弱已成為阻礙其發(fā)展的主要問(wèn)題之一。因此,Hadoop平臺(tái)安全監(jiān)測(cè)技術(shù)的研究,將在一定程度上,提高用

2、戶對(duì)Hadoop的信任,從而推動(dòng)Hadoop的發(fā)展。
　　本文在研究Hadoop安全問(wèn)題的基礎(chǔ)上,針對(duì)Hadoop集群數(shù)據(jù)安全及資源安全的不同特征,提出一種用戶行為的數(shù)據(jù)訪問(wèn)異常檢測(cè)技術(shù)及一種資源消耗的異常檢測(cè)技術(shù),實(shí)現(xiàn)對(duì)Hadoop集群的安全監(jiān)測(cè),從而提高Hadoop集群的安全性。本文的主要工作如下:
　　首先,針對(duì)Hadoop HDFS的數(shù)據(jù)訪問(wèn)方式,提出一種基于隱馬爾科夫模型的用戶訪問(wèn)行為異常檢測(cè)技術(shù)。不同于其他的基于

3、關(guān)聯(lián)分析的用戶行為異常檢測(cè)技術(shù),該方法針對(duì)單個(gè)用戶的微命令序列實(shí)施監(jiān)測(cè),避免了關(guān)聯(lián)分析中數(shù)據(jù)挖掘過(guò)程和多特征的數(shù)據(jù)預(yù)處理過(guò)程,從而大大降低了時(shí)間和空間復(fù)雜度,提高了用戶異常行為監(jiān)測(cè)的實(shí)時(shí)性。
　　其次,針對(duì)Hadoop平臺(tái)分布式存儲(chǔ)和分布式計(jì)算的資源消耗特點(diǎn),提出一種基于KNN的資源消耗異常檢測(cè)技術(shù)。該方法通過(guò)將k-近鄰方法運(yùn)用到時(shí)間子序列模式上,同時(shí)結(jié)合滑動(dòng)窗口,實(shí)現(xiàn)子序列模式的局部異常檢測(cè),從而發(fā)現(xiàn)模式異常。此方法改進(jìn)了一般基