基于日志的事件挖掘方法研究與應用.pdf

1、近年來，各種IT系統(tǒng)規(guī)模日益龐大，架構越發(fā)復雜，在生產(chǎn)環(huán)境中會生成海量的日志數(shù)據(jù)。日志數(shù)據(jù)中記錄著系統(tǒng)運行狀態(tài)信息，分析日志數(shù)據(jù)能夠幫助管理員了解系統(tǒng)運行狀況，同時也可以幫助管理員進行故障原因檢測、系統(tǒng)性能優(yōu)化和異常預警等。依靠人力來分析數(shù)量如此龐大的日志數(shù)據(jù)是非常困難的，因此需要借助日志事件挖掘技術協(xié)助管理員分析日志數(shù)據(jù)。本文主要研究內容:
　　(1)通過分析日志數(shù)據(jù)形式，設計了一種改進的基于簽名的日志事件提取方法，將非結構化的

2、日志數(shù)據(jù)轉化為結構化日志數(shù)據(jù)。該方法使用日志簽名標識事件類型，對日志文本格式?jīng)]有特殊要求，并且能夠自主確定事件類型數(shù)量。
　　(2)研究序列模式時滯區(qū)間的挖掘方法，確定合適的時滯區(qū)間可以提高序列模式的準確性。為了避免重復掃描序列數(shù)據(jù)，將事件序列轉化為有序表的形式，采用雙重循環(huán)和二分查找方法構建有序表，可以達到比較好的時間復雜度。
　　(3)為了能夠從全局和局部的角度描述日志數(shù)據(jù)，基于事件發(fā)生頻率變化的事件摘要描述模型提出了全