APROACHES REDUCING ALERTS GENERATED BY MULTIPLE IDSs.pdf

1、隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，計算機以及網(wǎng)絡(luò)的應(yīng)用已深入到了政治、經(jīng)濟、軍事和社會等各領(lǐng)域，然而隨之而來的網(wǎng)絡(luò)安全問題也日益突出?；ヂ?lián)網(wǎng)上紛繁復(fù)雜的攻擊事件，從本質(zhì)上來說，是由于計算機及網(wǎng)絡(luò)系統(tǒng)在設(shè)計、開發(fā)、運行、維護、配置過程中存在漏洞或脆弱性，而外部的威脅利用這些存在的漏洞或脆弱性發(fā)動攻擊，從而導(dǎo)致安全事件的發(fā)生。廣泛存在的軟件漏洞給現(xiàn)代社會的計算機、網(wǎng)絡(luò)環(huán)境增加了不安全因素。計算機中外部威脅包括對易受攻擊的服務(wù)項目的網(wǎng)絡(luò)攻擊

2、，對應(yīng)用程序的數(shù)據(jù)驅(qū)動攻擊，基于主機的攻擊，如權(quán)限提升，未授權(quán)登陸，未授權(quán)瀏覽敏感文件，或惡意軟件（如計算機病毒、蠕蟲病毒、木馬程序）等。這些行為意在破解資源的完整性，機密性及可靠性。為保證互聯(lián)網(wǎng)的安全、穩(wěn)定、高效的運行，解決各種各樣的網(wǎng)絡(luò)安全問題，單純依賴傳統(tǒng)的防火墻技術(shù)已經(jīng)越來越不能滿足需求，入侵檢測系統(tǒng)(IDS)應(yīng)運而生。IDS是對其他安全工具，如防火墻在檢測網(wǎng)絡(luò)入侵時的一種有效彌補方法。通常，IDS收集和分析網(wǎng)絡(luò)中的信息，以識別

3、可能存在的安全缺口，并在檢測到入侵時產(chǎn)生警報。一般情況下，警報包括如下特征:傳感器ID、警報ID、警報產(chǎn)生時間、警報產(chǎn)生規(guī)則、源IP地址、目的IP地址、源端口、目的端口、外部參考和警報類別。IDS分為兩類:一種是基于特征的IDS，基于特征的IDS根據(jù)包特征及流特征對網(wǎng)絡(luò)數(shù)據(jù)進行監(jiān)測，并將監(jiān)測結(jié)果提交并驅(qū)動各交互系統(tǒng)。另一種是基于異常的IDS，為識別異常行為，該類系統(tǒng)從正常的使用行為中尋找異常。異常檢查技術(shù)依賴于一個網(wǎng)絡(luò)正常行為模型。簡而

4、言之，IDS可用來檢測網(wǎng)絡(luò)環(huán)境并在檢測到非正?；顒訒r生成相應(yīng)的警報。然而，IDS生成大量的冗余警報，給數(shù)據(jù)分析帶來困難。事實上，真實警報通常被大量的錯誤警報所覆蓋?；谏鲜鰡栴}，本文首先提出一種新的警報管理框架，并在此基礎(chǔ)上，提出兩種過濾冗余警報、提高警報質(zhì)量的警報削減方法。
　　本文首先提出一種新的警報管理框架，該框架主要包括三個模塊:警報驗證模塊、警報分類模塊和警報聚合模塊。該框架首先利用預(yù)處理單元收集多種IDS檢測到的原始警

5、報，將原始警報轉(zhuǎn)化為入侵檢測信息交換格式(Intrusion DetectionMessage Exchange Format，即IDMEF)并抓取警報重要特征。接著，警報驗證模塊接收預(yù)處理單元輸出的警報并基于漏洞評估數(shù)據(jù)驗證警報。其次，警報分類模塊接收驗證模塊輸出的警報并對其進行分類，為提高分類精度，可以利用不同的子分類器對不同IDS類型的警報進行分類。最后，警報聚合模塊接收分類模塊輸出的警報并利用不同的子聚合器對不同IDS類型的警報

6、進行聚合，進一步減少警報數(shù)量。
　　為合理高效的進行警報管理，必須對IDS監(jiān)測到的各種漏洞進行有效的評估。為此，本文構(gòu)建了新的綜合漏洞評估(CVA)方法對漏洞進行綜合評估。已有漏洞評估方法主要用來基于已知的安全漏洞數(shù)據(jù)和網(wǎng)絡(luò)資源構(gòu)建漏洞評估數(shù)據(jù)，但該數(shù)據(jù)沒有考慮到不同IDS設(shè)備包含的額外參考信息，給漏洞定位帶來困難。為解決該問題，本文利用多種類型的資源，構(gòu)建了綜合漏洞評估(CVA)數(shù)據(jù)。本文采用威脅文件生成器構(gòu)建CVA數(shù)據(jù)，威脅文

7、件生成器利用以下四種資源數(shù)據(jù)并構(gòu)建這四種數(shù)據(jù)間的關(guān)系:常見的漏洞數(shù)據(jù)庫如CVE和OSVDB;不同IDS設(shè)備的參考細(xì)節(jié);不同漏洞掃描器以及已有網(wǎng)絡(luò)的網(wǎng)絡(luò)資源細(xì)節(jié)。不同類型的資源數(shù)據(jù)描述漏洞的不同信息，如漏洞數(shù)據(jù)庫（如OSVDB）描述易受該類型漏洞攻擊的應(yīng)用、服務(wù)類型等信息;IDS描述漏洞的源IP、目的IP、活動類型、時間戳、CVE信息及協(xié)議類型等信息;漏洞掃描器和網(wǎng)絡(luò)資源描述漏洞的主機名稱、IP地址、協(xié)議及操作系統(tǒng)（類型、版本）信息。為進

8、一步提高警報的語義性，本文的警報驗證模塊加入了包括警報相關(guān)性和可靠性在內(nèi)的警報額外信息。其中警報相關(guān)性指警報和對應(yīng)漏洞之間的相似性;警報可靠性與IDS設(shè)備的相關(guān)參數(shù)（如版本號等）有關(guān)。已有研究表明，對漏洞進行合理的定位可以在很大程度保證警報驗證過程的準(zhǔn)確性，因此有必要將漏洞定位的過程標(biāo)準(zhǔn)化。本文在采納OSVDB的同時，補充了大量IDS設(shè)備的定位細(xì)節(jié)，滿足一個設(shè)備對應(yīng)一個校對機的需求，使得漏洞定位更加精準(zhǔn)。因此，CVA數(shù)據(jù)可詳盡地描述漏洞

9、信息，不僅保證了校對機的準(zhǔn)確性，還可以有效提高來自不同IDS設(shè)備的警報質(zhì)量，從而簡化安全分析員的工作。
　　入侵檢測系統(tǒng)檢測出漏洞后需要對其進行進一步的驗證，通過過濾不相關(guān)警報、對相似警報進行聚類等方法對其進行簡化，以便后續(xù)分析，為此，本文提出一種基于警報驗證和警報聚合的方法來提高警報質(zhì)量。首先，該方法接收多IDS檢測到的原始警報，將原始警報轉(zhuǎn)化為入侵檢測信息交換格式并抓取警報重要特征。警報預(yù)處理單元將其依次傳送到警報驗證模塊和警

10、報聚合模塊。警報驗證模塊旨在利用綜合漏洞評估數(shù)據(jù)驗證警報，提高多IDS檢測到的警報的準(zhǔn)確性。該模塊通過測量警報特征與CVA數(shù)據(jù)中漏洞特征之間的匹配程度計算漏洞與網(wǎng)絡(luò)之間的相似性得分，得分越高，入侵成功的可能性越大。這里執(zhí)行一系列的重分組實驗，以確定錯誤警報與正確警報之間最好的分類閾值。
　　為提高警報驗證模塊的性能，本文對不同類型的攻擊，采用不同的警報子校對機。涉及到的不同攻擊類型包括:Dos、Telnet、FTP、MySql、S

11、ql和未定義攻擊，不同類型的警報子校隊機對應(yīng)不同類型的攻擊。引入多個警報子校對機處理警報有兩個優(yōu)點:一是不用考慮網(wǎng)絡(luò)使用何種類型的IDS設(shè)備;二是在使用多個IDS設(shè)備的相對大型網(wǎng)絡(luò)中，調(diào)度更加容易。警報驗證模塊處理警報的基本步驟如下:1）按以下順序比較預(yù)處理過的警報和CVA數(shù)據(jù)中對應(yīng)漏洞之間的特征是否匹配:IP、參考驗證碼、端口、時間、程序類型、協(xié)議、種類、名字和等級;為簡化處理過程，若特征匹配，則對應(yīng)特征匹配得分為1，否則為0;2）從

12、CVA數(shù)據(jù)中找到相對應(yīng)的漏洞，利用警報的目的IP地址從CVA數(shù)據(jù)中抓取漏洞信息;3）計算每一個和漏洞有關(guān)的警報相關(guān)分?jǐn)?shù)并從中選擇分?jǐn)?shù)最高的警報;4）基于警報相關(guān)分?jǐn)?shù)對警報進行進一步分類。這里我們將警報按照警報相關(guān)分?jǐn)?shù)分為三組:理想相關(guān)警報，部分相關(guān)警報和不相關(guān)警報;5）將理想相關(guān)警報和部分相關(guān)警報傳送至警報聚合模塊;6)去除不相關(guān)警報。進行實驗時，本文使用三種不同的網(wǎng)絡(luò)特征型IDS，分別為Snort、Prelude和Shoki。IDS設(shè)

13、備使用其默認(rèn)的規(guī)則集。警報發(fā)出和CVA數(shù)據(jù)的存儲由一臺電腦完成。測試機器分為兩組:目標(biāo)機器和攻擊機器。我們的實驗產(chǎn)生931個Snort警報，912個Prelude警報和965個Shoki警報。15％的警報為利用了漏洞的攻擊（即相關(guān)攻擊），85％的警報表示沒有利用漏洞的攻擊。首先比較警報驗證模塊處理前后警報的準(zhǔn)確度和發(fā)現(xiàn)率。警報驗證模塊處理前，報告DoS、Telnet、FTP、MySql、Sql等各種攻擊的原始精確度分別為13.2％，12

14、.9％，14.36％，12.7％和12.46％。經(jīng)過警報驗證模塊處理之后，各個警報的精確度分別為87.43％，96.46％，97.03％，94.33％和92.96％;而警報的發(fā)現(xiàn)率則沒有太大影響。接著，驗證該方法可以處理來自不同IDS設(shè)備的警報，我們發(fā)現(xiàn)該方法輸入的原始警報的數(shù)量是最大的，大概為其他只能處理單一警報方法的三倍，并且該方法在精確度上效果很好。實驗結(jié)果表明:1）不同IDS設(shè)備生成的警報準(zhǔn)確性很低，需要采用警報驗證技術(shù)提高警報

15、準(zhǔn)確性;2）新提出的方法確實可以處理多個IDS設(shè)備產(chǎn)生的警報。
　　隨著多階段入侵的增加，產(chǎn)生大量難以處理的冗余警報。實際上，一個單一入侵可以產(chǎn)生多個具有相同特征的警報。通常，單一冗余警報的分析可能只提供有關(guān)攻擊的部分信息，因此它對于解開攻擊的真正模式?jīng)]有太多價值。為了解決這個問題，需要將多步入侵中每一步的冗余警報和孤立警報進行融合，以此獲得不同IDS產(chǎn)品攻擊的綜合特征。本文提出的警報聚合模塊可以減少特定時間窗口內(nèi)同一攻擊活動的不

16、相關(guān)警報和冗余警報。將警報聚合為元警報并不能全面有效減少無用警報。事實上，網(wǎng)絡(luò)（含多個IDS設(shè)備）中出現(xiàn)某特定攻擊時，不同IDS設(shè)備生成的警報，它們在源地址、目標(biāo)地址和參考識別碼可能是相似的。這種警報需要根據(jù)共有特性（如參考識別碼、源地址和目標(biāo)地址）進一步聚合，以便減少冗余警報。為此，本文利用元警報的概念提出了警報聚合模塊，元警報包含某個已知攻擊的總信息。元警報聚合器進一步處理警報并以聚合元警報形式輸出。為簡化警報聚合過程，我們利用警報

17、子聚合器處理不同類型的警報，本文涉及到的攻擊類型有:DoS、Telnet、FTP、MySql、Sql和未定義類型，不同類型的警報子聚合器聚合不同攻擊類型的警報并以元警報的形式進行輸出。為更好的了解工作過程，我們定義了元警報M的幾個參數(shù)。M.Attack_ class:元警報代表的攻擊類型;M.Nbrealerts:元警報包含的警報個數(shù);M.Rel:元警報關(guān)聯(lián)性;M.non-updatetime:元警報最近一次更新后過去的時間;M.cre

18、atetime:元警報的創(chuàng)建時間等等。警報聚合過程如下:1)特定攻擊類型的子聚合器利用有效警報的IP地址識別潛在的元警報;2）子聚合器測量元警報和有效警報之間的相似性，以找到與新型警報最相似的元警報;本文中，我們僅僅將和元警報完全匹配的警報加入到元警報中;3）將多種類型的元警報再次進行聚合，輸出最后的聚合元警報。和以往相比，本文最大的特點是可以利用不同的警報聚合器和對應(yīng)的子警報聚合器處理來自不同IDS設(shè)備的警報。該特點不僅簡化了警報聚合

19、過程，還提高了警報質(zhì)量。進行實驗時，我們首先分析被驗證警報的消減率。結(jié)果表明:不同警報子聚合器有效警報的消減率達(dá)到50％左右，大大減少了警報數(shù)量。接著，驗證元警報的消減率。結(jié)果表明:共享元警報的消減率達(dá)到70％左右。最后，將本方法與其他類似方法比較。結(jié)果表明:新提出方法在錯誤警報和冗余警報的消減率上都明顯高于其他方法，分別可達(dá)到86.6％和76.8％?？偟膩碚f，本文方法大幅度減少了主動錯誤信息和冗余警報。
　　除上述警報削減方法外

20、，為解決IDS產(chǎn)生大量冗余數(shù)據(jù)的問題，本文還提出一種基于聚類和hash技術(shù)的警報削減方法，該方法將多種IDS檢測到的行為相似或特征相似的警報進行聚類，過濾不相關(guān)警報，以簡化多種傳感器檢測到的警報。
　　已有聚類算法僅基于警報發(fā)生時間、目的IP及信號特征對相似警報進行聚類，然而這些信息并不能很好的表示警報，導(dǎo)致聚類結(jié)果欠佳。因此，本文增加聚類特征個數(shù)，并利用hash技術(shù)進行聚類，以提高聚類效果。在預(yù)定義的每個時間窗口，判斷警報之間的

21、相似性，對相似警報進行聚類，直到所有警報被分組到單個警報集群。已有研究表明，基于多種傳感器的聚類效果更優(yōu)。因此，本文考慮多種類型的傳感器，分析警報的不同行為，進一步對警報進行分類。
　　為更好的利用警報信息，本文選取七種特征表示警報。本文算法包含兩個階段。第一階段進行警報預(yù)處理。通過移除不相關(guān)警報、重復(fù)警報對多IDS產(chǎn)生的警報進行過濾，然后利用選取的七種特征表示每一個警報。第二個階段利用已有的三種聚類算法進行聚類。在第一個時間窗口

22、tw，執(zhí)行第一個聚類算法Initial AlertClustering and Reduction Algorithm。將t1（算法起始時間）至tw時間段內(nèi)生成的警報按類分組，并在組內(nèi)進行聚類。在接下來的時間窗口利用兩種算法進行聚類。聚類算法Alerts Joining Clustering and reduction將Initial Alert Clustering and ReductionAlgorithm的聚類結(jié)果作為起始聚類輸

23、入，該算法起始時間更新為t1+tw，檢查下一個時間窗口tw生成的警報的行為并將其加入到合適的起始聚類中;聚類算法AlertsClustering based on Hash Value在已有聚類中利用hash值進一步聚類。處理大大減少冗余警報數(shù)量，本文算法另一個優(yōu)點是可以不基于已有的相似性函數(shù)對不同聚類中的相似警報進行分組，大大減小了時間復(fù)雜度。進行實驗時，這里使用兩種不同的網(wǎng)絡(luò)特征型IDS、Snort和Prelude。IDS設(shè)備使用其

24、默認(rèn)的規(guī)則集。本文的實驗產(chǎn)生1579個Snort警報，警報分類算法處理前，DoS，Telnet，F(xiàn)TP，MySql，Sql等各種攻擊的原始精確度分別為16.5％、12.4％、14.1％、13.9％和15.1％，探測率分別為92.5％、87.9％、97.9％、95.7％和96.8％。此外，本文實驗生成1551個Prelude警報。警報分類算法處理前，DoS，Telnet，F(xiàn)TP，MySql，Sql等各種攻擊的原始精確度分別為11.1％、1

25、3.4％、15.2％、11.1％和12.8％，探測率分別為84.2％、91.4％、97％、89.7％和89.3％。經(jīng)過警報驗證模塊處理之后，兩種警報的平均精確度分別為87.8％、94.9％、97.3％、96.2％和96.3％;而警報的發(fā)現(xiàn)率則分別為88.37％、87.5％、96.3％、91.6％和91.2％。結(jié)果表明，該分類算法在警報探測率變化不大的情況下，大大提高了警報準(zhǔn)確率。接著，將本文算法與已有算法進行對比，結(jié)果表明，本文算法在警

26、報探測率和準(zhǔn)確率上均優(yōu)于已有算法。最后，評估每類警報的削減率，實驗結(jié)果表明，DoS，Telnet，F(xiàn)TP，MySql，Sql的削減率分別為96.3％、96.7％、97.1％、95.5％和95.6％。大量的實驗結(jié)果表明，本文選取的七種特征可以很好的表示警報，基于此七種特征的警報分類算法不僅大大增加了警報準(zhǔn)確度，hash技術(shù)的應(yīng)用還大大提高了算法的時間效率。
　　總的來說，本文首先提出一種新的警報管理框架，該框架旨在過濾不相關(guān)警報，簡

27、少冗余警報，實現(xiàn)對警報的高效管理。本文提出的警報管理框架主要包含三個模塊:警報驗證模塊、警報分類模塊和警報聚合模塊。為了對ID監(jiān)測到的各種漏洞進行有效的評估，本文構(gòu)建了新的綜合漏洞評估(CVA)方法。綜合漏洞評估方法包含多種類型的數(shù)據(jù)，不僅保證了校隊機的準(zhǔn)確性，還可以提高不同IDS檢測到的警報的質(zhì)量。在此基礎(chǔ)上，本文提出一種基于警報驗證和警報聚合的警報削減方法來過濾不相關(guān)警報，減少冗余警報。該方法分為兩個部分，警報驗證和警報聚合。警報驗

28、證模塊接收預(yù)處理單元輸出的警報，利用CVA數(shù)據(jù)計算入侵和對應(yīng)網(wǎng)絡(luò)內(nèi)容之間的相關(guān)分?jǐn)?shù)來區(qū)分錯誤警報和正確警報，以過濾不相關(guān)警報和冗余警報。為提高性能，本文利用不同的子校隊機對不同IDS類型的警報進行驗證。接著，警報聚合模塊接收驗證模塊輸出的警報并根據(jù)警報共有特性對其進行聚合。為此，本文提出元警報聚合模塊，元警報包含某個已知攻擊的總信息和，本文利用元警報的概念進一步處理警報并以聚合元警報形式輸出，大大減少了冗余警報。此外，除上述警報管理框架