用優(yōu)化的正則表達式引擎進行快速網(wǎng)絡(luò)流分類.pdf

1、自從互聯(lián)網(wǎng)誕生以來，網(wǎng)絡(luò)流分類就成了眾多網(wǎng)絡(luò)相關(guān)任務(wù)中的一種，也逐漸成了人們集中研究的對象。網(wǎng)絡(luò)流的分類與識別是網(wǎng)絡(luò)流量工程、入侵監(jiān)測與防御、包過濾、網(wǎng)絡(luò)設(shè)計與規(guī)劃等網(wǎng)絡(luò)行為的前提和基礎(chǔ)，因此準(zhǔn)確高效地識別網(wǎng)絡(luò)流對于分析網(wǎng)絡(luò)發(fā)展趨勢和檢測網(wǎng)絡(luò)異常行為都有著很重要的現(xiàn)實意義。
　　本文主要研究快速網(wǎng)絡(luò)流分類優(yōu)化技術(shù)，包括面向網(wǎng)絡(luò)流的正則表達式匹配技術(shù)和基于云計算平臺的大數(shù)據(jù)網(wǎng)絡(luò)流分類技術(shù)。對于正則表達式匹配技術(shù)，目前應(yīng)用的系統(tǒng)是基于

2、NFA(Non-deterministic Finite Automata)的匹配技術(shù)和基于DFA(Deterministic Finite Automata)的匹配技術(shù)。NFA技術(shù)匹配速度較慢，因此人們把目光投向了匹配速度更快的DFA技術(shù)，DFA具有O(1)的快速狀態(tài)轉(zhuǎn)移時間，卻帶來了空間爆炸的缺陷，需要對DFA進行空間壓縮優(yōu)化。另一方面，隨著現(xiàn)在網(wǎng)絡(luò)通信量急劇增長，儼然進入了大數(shù)據(jù)領(lǐng)域，單機下已經(jīng)不堪重負(fù)，無法有效的完成流量分類任務(wù)

3、，需要針對大數(shù)據(jù)流量的分類方案。
　　具體來說，本文的研究工作及方法主要集中在以下兩個方面:
　　(1)使用優(yōu)化的DFA空間壓縮技術(shù)和狀態(tài)匹配速度提高技術(shù)進行快速網(wǎng)絡(luò)流分類。通過調(diào)研DFA空間爆炸的本質(zhì)因素，研究出合適的空間壓縮算法和數(shù)據(jù)結(jié)構(gòu)對狀態(tài)和轉(zhuǎn)移邊進行壓縮。由于在對DFA進行空間壓縮后，其狀態(tài)轉(zhuǎn)移查詢可能沒有直接訪問傳統(tǒng)DFA的狀態(tài)轉(zhuǎn)移二維表快速，即經(jīng)過空間壓縮后匹配速度可能會有所降低。為此，我們從提高匹配成功的速度

4、和匹配失敗的速度兩方面來進一步提速，并與傳統(tǒng)的DFA匹配效率進行對比。
　　(2)研究基于Hadoop云計算平臺的大數(shù)據(jù)網(wǎng)絡(luò)流分類技術(shù)。運用HadoopStreaming技術(shù)將單機下的網(wǎng)絡(luò)流分類系統(tǒng)部署到Hadoop平臺下，解決Hadoop平臺本身不支持二進制網(wǎng)絡(luò)流輸入格式的問題，并通過Hadoop平臺調(diào)優(yōu)技術(shù)優(yōu)化各參數(shù)，使其更好的應(yīng)用到云平臺上，從而能夠充分運用云平臺的并行技術(shù)實現(xiàn)快速網(wǎng)絡(luò)流分類。
　　經(jīng)過實驗論證，我們提