聚類算法及其在日志數(shù)據(jù)處理中的應(yīng)用研究.pdf

1、隨著科學(xué)技術(shù)飛速進步，我國計算機網(wǎng)絡(luò)事業(yè)得到極大發(fā)展和普及。網(wǎng)絡(luò)對我們工作、生活和學(xué)習(xí)的影響無處不在，給我們帶來了無比的方便與快捷。然而，計算機網(wǎng)絡(luò)在給我們帶來便利的同時，也引起了各種計算機網(wǎng)絡(luò)安全問題。在應(yīng)對這些安全問題時，基于日志數(shù)據(jù)處理的各種方法與技術(shù)成為大家研究的共識。其中，以日志數(shù)據(jù)為研究對象的數(shù)據(jù)挖掘方法——聚類算法在日志規(guī)模壓縮方面是一個很有發(fā)揮空間的應(yīng)用方法。
　　由于傳統(tǒng)聚類算法不能直接應(yīng)用于日志數(shù)據(jù)領(lǐng)域，本文首

2、先對聚類算法進行了深入的研究。探討了聚類算法的定義、產(chǎn)生歷程以及聚類算法的數(shù)據(jù)類型，對傳統(tǒng)聚類算法的幾個分支:劃分聚類、層次聚類、基于密度的聚類、基于網(wǎng)格的聚類和基于模型的聚類分別做了概括性描述?？偨Y(jié)和分析了聚類算法當前存在的問題和有待改進的方面。針對以上問題，并結(jié)合網(wǎng)絡(luò)日志與系統(tǒng)日志的特點，本文所做的主要工作包括:
　　1.設(shè)計并提出了一種基于網(wǎng)格的網(wǎng)絡(luò)日志二次聚類算法
　　對多協(xié)議網(wǎng)絡(luò)日志數(shù)據(jù)劃分網(wǎng)格，網(wǎng)格內(nèi)外分別作兩次

3、聚類，生成聚類后的簇記錄。該算法不需預(yù)設(shè)類簇個數(shù) k，可自主決定類簇個數(shù)。該算法處理實際的動態(tài)數(shù)據(jù)，實現(xiàn)增量式聚類，可以刪除已聚類數(shù)據(jù)，處理新來網(wǎng)絡(luò)日志。實驗證明，該算法對日志規(guī)模壓縮效果顯著，而且不破壞網(wǎng)絡(luò)日志的完整性和可靠性，并且不影響用戶的正常網(wǎng)絡(luò)訪問。
　　2.設(shè)計并提出了一種基于事件映射的系統(tǒng)日志聚類算法
　　對操作系統(tǒng)日志、安全日志和應(yīng)用程序日志，設(shè)計統(tǒng)一的聚類算法對其做共同處理，產(chǎn)生統(tǒng)一的用戶操作行為概化描述。