分布式復(fù)雜事件處理關(guān)鍵技術(shù)研究.pdf

1、近年來，互聯(lián)網(wǎng)中產(chǎn)生的數(shù)據(jù)大幅增加，如何處理這些數(shù)據(jù)，挖掘出數(shù)據(jù)中蘊涵的信息，成為計算機領(lǐng)域關(guān)注的重點。傳統(tǒng)的數(shù)據(jù)挖掘方法是先將這些數(shù)據(jù)存儲到數(shù)據(jù)庫之中，再對其進行處理，但是這些數(shù)據(jù)中只有小部分是我們感興趣的，全部存儲起來代價很大，而且在很多領(lǐng)域，比如證券市場，電力設(shè)備的檢測，對數(shù)據(jù)處理的實時性要求很高，傳統(tǒng)的數(shù)據(jù)挖掘及數(shù)據(jù)庫的處理方法，無法滿足這些數(shù)據(jù)處理的實時性，為了能夠?qū)崟r地從源源不斷的海量數(shù)據(jù)中提取出感興趣及更高層次的信息，出現(xiàn)

2、了復(fù)雜事件處理系統(tǒng)，用戶預(yù)先在系統(tǒng)中定義需要檢測的復(fù)雜事件模式，復(fù)雜事件處理系統(tǒng)實時對數(shù)據(jù)流進行檢測，當(dāng)檢測到用戶自定義的復(fù)雜事件模式的時候，通知用戶或者做出響應(yīng)。
　　目前已經(jīng)存在著很多復(fù)雜事件處理系統(tǒng)，各個系統(tǒng)適用于不同的場景之中，也針對不同問題進行了改進，但這些系統(tǒng)普遍采用集中式的架構(gòu)，隨著目前事件產(chǎn)生的速率不斷增加，事件的復(fù)雜度不斷的增加，傳統(tǒng)的運行在單節(jié)點上的復(fù)雜事件處理系統(tǒng)的處理能力已經(jīng)遇到了瓶頸。
　　針對上述

3、問題，在本文中，我們設(shè)計實現(xiàn)了一個分布式的復(fù)雜事件處理系統(tǒng)，該系統(tǒng)通過查詢重寫方法和分布式處理，提高復(fù)雜事件處理系統(tǒng)的處理能力，本文的貢獻主要包括以下幾個方面:
　　(1)一種新的事件模型和事件模式語言，其更適用于查詢重寫和分布式實現(xiàn)。
　　(2)對基于有向圖的復(fù)雜事件模式檢測方法進行改進，并提出一種查詢重寫算法，使得復(fù)雜事件模式查詢更加高效。
　　(3)設(shè)計分布式復(fù)雜事件處理框架，并使用分布式流處理框架Storm對其