基于MapReduce的日志關(guān)聯(lián)分析研究與實(shí)現(xiàn).pdf

1、云計(jì)算是近年來(lái)的熱門(mén)話題，興起了IT產(chǎn)業(yè)對(duì)服務(wù)使用方式的變革，越來(lái)越多的組織和個(gè)人使用云計(jì)算來(lái)部署自己的應(yīng)用，開(kāi)發(fā)自己的平臺(tái)。云計(jì)算廠商的將更多的時(shí)間放在了虛擬化、負(fù)載均衡和存儲(chǔ)上，但對(duì)于日志分析平臺(tái)資源投入?yún)s很有限，因此相比原來(lái)的物理服務(wù)器部署，也帶來(lái)了更多的安全隱患。本文在現(xiàn)有的研究工作的基礎(chǔ)上，開(kāi)展了云計(jì)算場(chǎng)景下的日志分析工作，主要研究?jī)?nèi)容如下：
　　（1）提出一種基于事件滑動(dòng)窗口的告警關(guān)聯(lián)挖掘算法。云場(chǎng)景中部署了若干的物理

2、主機(jī)和虛擬主機(jī)，每個(gè)節(jié)點(diǎn)收集到的告警日志匯集起來(lái)是海量的，因此如何從這些海量的告警日志中，提取關(guān)聯(lián)的告警，并組成告警序列，畫(huà)出攻擊圖重現(xiàn)攻擊場(chǎng)景是首要的任務(wù)。將現(xiàn)有的序列模式挖掘算法應(yīng)用到告警序列的挖掘中，不僅低效，而且會(huì)挖掘出很多的無(wú)意義的頻繁序列模式，大大降低了正確率。因此，本文在其他現(xiàn)有告警關(guān)聯(lián)的基礎(chǔ)上，提出一種基于事件滑動(dòng)窗口的告警關(guān)聯(lián)挖掘算法，并利用MapReduce完成并行化，能夠提高挖掘的速率，在海量日志的挖掘中性能優(yōu)異，

3、解決傳統(tǒng)模式的不足。
　?。?）提出一種基于訪問(wèn)流的屬性關(guān)聯(lián)DDoS攻擊攔截模型。目前對(duì)云計(jì)算中主機(jī)的攻擊，主要為DDoS攻擊，由于節(jié)點(diǎn)眾多，且攻擊方式多變，需要一種有效的、動(dòng)態(tài)的策略來(lái)增強(qiáng)防火墻抵御能力?，F(xiàn)有的基于屬性關(guān)聯(lián)的置信度打分策略，通過(guò)對(duì)流量日志的分析，構(gòu)建一種數(shù)據(jù)包打分策略，來(lái)過(guò)濾危險(xiǎn)數(shù)據(jù)包。相比于原有的針對(duì)傳輸層和網(wǎng)絡(luò)層的 DDoS攻擊，云計(jì)算場(chǎng)景中的應(yīng)用層攻擊在 DDoS攻擊中占有了很大一部分，因此原有的方法并不能