基于主機(jī)的日志大數(shù)據(jù)分析及安全性檢查.pdf

1、在當(dāng)今大數(shù)據(jù)及云計(jì)算時(shí)代，各種設(shè)備如手機(jī)，智能手環(huán)，智能眼鏡甚至垃圾桶等等通過(guò)連接網(wǎng)絡(luò)產(chǎn)生了豐富的應(yīng)用，極大的方便了人們的生活。但與此同時(shí)生成大量的系統(tǒng)日志文件，這些日志中包含著用戶登陸地點(diǎn)，使用設(shè)備，使用時(shí)間甚至用戶當(dāng)前的運(yùn)動(dòng)狀態(tài)，血壓及心跳等大量的信息。根據(jù)這些信息，能夠分析出目標(biāo)的行為習(xí)慣，身體狀態(tài)等等。如何有效快速的處理如此大量的日志并從中挖掘出有用的信息已經(jīng)成為全球?qū)W術(shù)界探索的熱點(diǎn)之一。
　　本文在大數(shù)據(jù)的背景下，對(duì)目前

2、主流的日志分析及挖掘技術(shù)進(jìn)行了研究。首先學(xué)習(xí)了目前常見(jiàn)的幾種日志并行處理方法，同時(shí)深入研究目前已有的大數(shù)據(jù)處理分析方法，進(jìn)而設(shè)計(jì)出一套大數(shù)據(jù)日志分析用戶及系統(tǒng)安全性檢查的解決方案。
　　本文利用IBM智慧城市中的智慧物流系統(tǒng)作為日志來(lái)源，在主機(jī)上采用hadoop作為并行日志分析的計(jì)算框架，對(duì)大規(guī)模日志進(jìn)行并行處理，將hadoop統(tǒng)計(jì)的結(jié)果作為SVM（支持向量機(jī)）的數(shù)據(jù)源，對(duì)已有數(shù)據(jù)進(jìn)行分類，對(duì)用戶的習(xí)慣進(jìn)行分析，總結(jié)出不同用戶的習(xí)

3、慣規(guī)律，在用戶產(chǎn)生異常行為時(shí)，系統(tǒng)及時(shí)發(fā)出警告，保證系統(tǒng)安全。
　　同時(shí)，采用了一種改進(jìn)的主動(dòng)學(xué)習(xí)算法，結(jié)合支持向量機(jī)對(duì)不平衡數(shù)據(jù)進(jìn)行訓(xùn)練和分類，該算法通過(guò)高斯核函數(shù)分析已有數(shù)據(jù)集的分布狀況，從而更加智能的從已有訓(xùn)練集樣本未覆蓋的區(qū)域選擇新的樣本，克服了訓(xùn)練集樣本分布過(guò)度集中，信息表達(dá)不充分的缺點(diǎn)。利用該算法對(duì)未登錄訪問(wèn)請(qǐng)求日志進(jìn)行深層分析，分類器可以通過(guò)較小的代價(jià)學(xué)習(xí)更多的樣本信息。同時(shí)，對(duì)未授權(quán)的訪問(wèn)請(qǐng)求進(jìn)行區(qū)分處理，單獨(dú)進(jìn)行