基于Hadoop大數(shù)據(jù)平臺(tái)資源及用戶行為檢測(cè)技術(shù)的研究.pdf

1、當(dāng)今社會(huì)，IT行業(yè)正在不斷地發(fā)展，云計(jì)算成為了大家越來(lái)越熟悉的名詞。云計(jì)算作為一種新鮮事物代表了當(dāng)今IT業(yè)正向著規(guī)模化、集約化和更加專業(yè)化的方向發(fā)展，是現(xiàn)在IT業(yè)正在經(jīng)歷的一種變革。云計(jì)算一方面提供了更加高效的使用效率，提高了對(duì)各種資源的利用率，另一方面也對(duì)用戶信息的安全和隱私帶來(lái)了極大的挑戰(zhàn)和威脅。Hadoop作為一種開(kāi)源性質(zhì)為基礎(chǔ)的云計(jì)算平臺(tái)，目前越來(lái)越受到大家的關(guān)注，成為很多公司使用的云計(jì)算工具。但是其安全措施并沒(méi)有明顯的改善，所

2、面臨的安全問(wèn)題依然存在。所以，這些問(wèn)題已經(jīng)成為了Hadoop快速發(fā)展的一個(gè)巨大的障礙。因此，需要對(duì)Hadoop平臺(tái)的安全做一個(gè)充分的檢測(cè)，提高它的安全指數(shù)，最終提高在用戶心目中的地位，推動(dòng)它的快速發(fā)展。
　　本文首先通過(guò)分析、研究Hadoop在安全方面上出現(xiàn)的漏洞和問(wèn)題，針對(duì)集群數(shù)據(jù)安全和資源安全方面的不同特征，基于先前的研究，設(shè)計(jì)出一種檢測(cè)資源消耗異常和一種監(jiān)測(cè)用戶訪問(wèn)數(shù)據(jù)行為異常的方法，幫助人們實(shí)現(xiàn)對(duì)Hadoop的安全檢測(cè)，最

3、終解決在安全上出現(xiàn)的問(wèn)題，提高平臺(tái)整體的安全度。因此，本文的主要任務(wù)分為以下幾個(gè)方面:
　　首先，根據(jù)Hadoop平臺(tái)的分布式存儲(chǔ)和分布式計(jì)算的資源消耗特點(diǎn)，提出一種基于KNN的資源消耗異常檢測(cè)方法。這種方法可以及時(shí)地發(fā)現(xiàn)平臺(tái)資源消耗的異常情況。與其他異常檢測(cè)所使用的方法相比，本方法不僅可以發(fā)現(xiàn)突發(fā)的資源消耗異常，還可以發(fā)現(xiàn)緩慢變化所產(chǎn)生的資源消耗異常，使得檢測(cè)更加準(zhǔn)確。
　　其次，通過(guò)對(duì)用戶訪問(wèn)Hadoop平臺(tái)的日志中的數(shù)

4、據(jù)記錄進(jìn)行處理，設(shè)計(jì)出一種基于隱馬爾科夫模型的針對(duì)用戶行為異常的檢測(cè)方法。這種檢測(cè)技術(shù)與其他檢測(cè)方法不同之處在于針對(duì)單個(gè)個(gè)體用戶的數(shù)據(jù)檢測(cè)，而不是關(guān)聯(lián)分析的檢測(cè)。這樣就可以幫助我們避免在檢測(cè)時(shí)出現(xiàn)數(shù)據(jù)過(guò)度復(fù)雜而導(dǎo)致檢測(cè)不準(zhǔn)確的問(wèn)題，從而及時(shí)地對(duì)用戶的異常行為進(jìn)行檢測(cè)。
　　通過(guò)本文的研究與分析，不僅可以提高用戶的安全系數(shù)，使平臺(tái)的安全得到進(jìn)一步保障，同時(shí)整個(gè)Hadoop集群的資源及用戶行為的檢測(cè)能力也取得一定的進(jìn)步，為達(dá)成Hado