基于HBase的日志異常分析與相關(guān)算法研究.pdf

1、當(dāng)前針對網(wǎng)絡(luò)外部的入侵攻擊已有相對完善的防護措施，但針對來自系統(tǒng)內(nèi)部的用戶威脅則缺乏針對性的措施。尤其在國防、公安、金融等領(lǐng)域，來自系統(tǒng)內(nèi)部的越權(quán)訪問、信息竊取、秘密泄露等問題成為相關(guān)領(lǐng)域安全工作的重要威脅。
　　日志可將系統(tǒng)中發(fā)生的事件進行完整記錄，可用來對系統(tǒng)內(nèi)部安全狀況進行分析評估。當(dāng)前業(yè)界針對日志分析的研究大多是基于專家系統(tǒng)的安全審計技術(shù)，可對小規(guī)模的異常行為進行分析，但這種技術(shù)在海量數(shù)據(jù)處理和隱藏的關(guān)聯(lián)關(guān)系挖掘方面顯得力

2、不從心。
　　本文研究的目的是將數(shù)據(jù)挖掘技術(shù)和分布式計算技術(shù)結(jié)合起來，實現(xiàn)對海量日志數(shù)據(jù)的收集、存儲和分析處理，挖掘日志信息中的潛在規(guī)律，用于發(fā)現(xiàn)系統(tǒng)安全漏洞和內(nèi)部用戶異常行為，彌補傳統(tǒng)專家系統(tǒng)的不足。
　　論文分析了分布式計算平臺Hadoop和NoSQL數(shù)據(jù)庫在海量數(shù)據(jù)處理方面的優(yōu)勢，對當(dāng)前常用的數(shù)據(jù)挖掘技術(shù)和日志異常分析方法進行了系統(tǒng)研究，針對本文分析的日志特征和研究目的選擇了關(guān)聯(lián)規(guī)則挖掘經(jīng)典算法Apriori作為基本算

3、法進行了深入研究。針對Apriori算法運行過程中每一輪計算都要掃描整個數(shù)據(jù)庫和連接生成候選頻繁項集數(shù)量過多的問題，通過將原始的水平數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為數(shù)據(jù)項和事務(wù)ID垂直對應(yīng)的數(shù)據(jù)結(jié)構(gòu)實現(xiàn)對算法的改進，同時在數(shù)據(jù)轉(zhuǎn)換時對數(shù)據(jù)存儲格式進行了分類標(biāo)識，有效減少了候選頻繁項集數(shù)量，提高了算法運行效率。
　　論文設(shè)計實現(xiàn)了基于Hadoop分布式計算平臺和HBase存儲系統(tǒng)的日志分析框架原型，包含分布式日志采集與處理、海量數(shù)據(jù)存儲、日志規(guī)則挖掘