基于數據挖掘技術降低入侵檢測系統誤報率的研究.pdf

1、在允許各種網絡資源以開放方式運作的前提下，入侵檢測成了確保網絡安全的一種必要手段。然而，由于網絡組件之間相關性太強，一個組件的錯誤會導致很多與其相連的組件報錯，從而觸發(fā)大量警報。KlausJulisch列舉了常見的幾種網絡錯誤并進行了具體分析，發(fā)現這些錯誤會導致99％以上的警報，而這些警報不是真正意義上的入侵。由于真正的攻擊隱藏在大量誤警中，導致很難識別真正的攻擊行為，利用人工處理這些海量的警報是不現實的。因此，我們的思想是以系統中觸發(fā)

2、過的歷史警報為研究對象，通過對歷史警報的學習，找出誤報的特點，推導出過濾規(guī)則，以指導對未來警報的觸發(fā)，實現自動減少誤報。對于與過濾規(guī)則匹配的警報，我們有理由懷疑這又將是一次“錯誤”的報警，因此選擇“丟棄”即不觸發(fā)該類警報。這樣，可以大大減少警報負荷，降低系統誤報率。 以數據為中心的觀點看，處理入侵警報本身就是一個數據分析過程。在許多相關的領域，數據挖掘已經取得了成功的應用。于是，如何利用數據挖掘技術實現對歷史警報數據的高效挖掘，

3、獲得過濾規(guī)則，以指導未來警報的觸發(fā)成為研究熱點。 本文通過對應用于入侵檢測的多種數據挖掘技術的研究，提出一種基于頻繁模式樹的AOI聚類算法。該算法能有效降低系統誤報率，并且它還針對KM-AOI算法存在無效概化、抗噪聲能力差及規(guī)則不精確等缺點進行了改進。將頻繁模式樹的構造思想引入KM-AOI算法，有效減少了概化次數，避免了無效概化和數據回滾，獲得更精確的規(guī)則，并實現了一定的“抗噪聲”功能。 在工作過程中，選擇頻繁度最大的屬

4、性作為概化對象，并根據概化取值不同，實現警報數據的逐步分組，并以產生頻繁模式樹的子結點的形式儲存分組結果，對子結點中的數據遞歸上述過程。最終，挖掘結果存儲于頻繁模式樹的葉結點中。頻繁模式樹的應用，保證了僅對“必須”的數據進行概化，避免了無效概化，從而達到了提高聚類效率的目的；而且，保證了不再對已頻繁屬性值進行任何概化操作，從本質上杜絕了“過概化”的發(fā)生，得到更精確的挖掘結果。 為了避免噪聲數據的干擾，對分組中的警報，首先判斷其是

5、否符合“最小值”要求，再確定是否對其進一步概化。這防止了對噪聲數據的“過度概化”，并且可在概化過程中剔除噪聲數據，進一步優(yōu)化了訓練數據集。 分析了兩種算法的時間和空間復雜度，對其性能進行比較，新算法性能提高約一倍，并結合一個實例說明兩種算法的工作過程。與KM-AOI算法的比較實驗表明，改進的算法具有更好的可擴展性，能從本質上杜絕“過概化”，獲得更精確的規(guī)則。最后我們分析了新算法的缺陷和不足之處。 總之，在入侵檢測系統挖掘