基于HBase的日志異常分析與相關(guān)算法研究.pdf

1、當(dāng)前針對(duì)網(wǎng)絡(luò)外部的入侵攻擊已有相對(duì)完善的防護(hù)措施，但針對(duì)來(lái)自系統(tǒng)內(nèi)部的用戶威脅則缺乏針對(duì)性的措施。尤其在國(guó)防、公安、金融等領(lǐng)域，來(lái)自系統(tǒng)內(nèi)部的越權(quán)訪問(wèn)、信息竊取、秘密泄露等問(wèn)題成為相關(guān)領(lǐng)域安全工作的重要威脅。
　　日志可將系統(tǒng)中發(fā)生的事件進(jìn)行完整記錄，可用來(lái)對(duì)系統(tǒng)內(nèi)部安全狀況進(jìn)行分析評(píng)估。當(dāng)前業(yè)界針對(duì)日志分析的研究大多是基于專家系統(tǒng)的安全審計(jì)技術(shù)，可對(duì)小規(guī)模的異常行為進(jìn)行分析，但這種技術(shù)在海量數(shù)據(jù)處理和隱藏的關(guān)聯(lián)關(guān)系挖掘方面顯得力

2、不從心。
　　本文研究的目的是將數(shù)據(jù)挖掘技術(shù)和分布式計(jì)算技術(shù)結(jié)合起來(lái)，實(shí)現(xiàn)對(duì)海量日志數(shù)據(jù)的收集、存儲(chǔ)和分析處理，挖掘日志信息中的潛在規(guī)律，用于發(fā)現(xiàn)系統(tǒng)安全漏洞和內(nèi)部用戶異常行為，彌補(bǔ)傳統(tǒng)專家系統(tǒng)的不足。
　　論文分析了分布式計(jì)算平臺(tái)Hadoop和NoSQL數(shù)據(jù)庫(kù)在海量數(shù)據(jù)處理方面的優(yōu)勢(shì)，對(duì)當(dāng)前常用的數(shù)據(jù)挖掘技術(shù)和日志異常分析方法進(jìn)行了系統(tǒng)研究，針對(duì)本文分析的日志特征和研究目的選擇了關(guān)聯(lián)規(guī)則挖掘經(jīng)典算法Apriori作為基本算

3、法進(jìn)行了深入研究。針對(duì)Apriori算法運(yùn)行過(guò)程中每一輪計(jì)算都要掃描整個(gè)數(shù)據(jù)庫(kù)和連接生成候選頻繁項(xiàng)集數(shù)量過(guò)多的問(wèn)題，通過(guò)將原始的水平數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為數(shù)據(jù)項(xiàng)和事務(wù)ID垂直對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)對(duì)算法的改進(jìn)，同時(shí)在數(shù)據(jù)轉(zhuǎn)換時(shí)對(duì)數(shù)據(jù)存儲(chǔ)格式進(jìn)行了分類標(biāo)識(shí)，有效減少了候選頻繁項(xiàng)集數(shù)量，提高了算法運(yùn)行效率。
　　論文設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop分布式計(jì)算平臺(tái)和HBase存儲(chǔ)系統(tǒng)的日志分析框架原型，包含分布式日志采集與處理、海量數(shù)據(jù)存儲(chǔ)、日志規(guī)則挖掘