基于云計算與集成學(xué)習(xí)的網(wǎng)絡(luò)流量分類方法研究.pdf

1、網(wǎng)絡(luò)流量分類是網(wǎng)絡(luò)管理、服務(wù)質(zhì)量保障、網(wǎng)絡(luò)安全等領(lǐng)域的關(guān)鍵技術(shù)之一。高效地網(wǎng)絡(luò)流量分類有助于進行網(wǎng)絡(luò)態(tài)勢分析和動態(tài)訪問控制，是實現(xiàn)網(wǎng)絡(luò)管理、流量控制以及安全檢測的重要環(huán)節(jié)。
　　隨著網(wǎng)絡(luò)規(guī)模和網(wǎng)絡(luò)速度的不斷增長，導(dǎo)致海量增長的網(wǎng)絡(luò)流量數(shù)據(jù)與傳統(tǒng)單節(jié)點系統(tǒng)存儲和處理數(shù)據(jù)能力之間的矛盾日益加深，嚴(yán)重影響網(wǎng)絡(luò)流量特征選擇及分類方面的性能。云計算技術(shù)具有分布式、可擴展的特點，其并行計算模式能夠有效地處理海量數(shù)據(jù)，將其應(yīng)用于網(wǎng)絡(luò)流量特征選擇

2、及分類過程中，對于執(zhí)行高效、精確的流量分類具有現(xiàn)實意義。針對海量網(wǎng)絡(luò)流量數(shù)據(jù)特征選擇及分類所面臨的問題，從提高網(wǎng)絡(luò)流量分類的效率和準(zhǔn)確率出發(fā)，論文的創(chuàng)新性工作有：
　　針對傳統(tǒng)的特征選擇方法只適用于小規(guī)模數(shù)據(jù)集、運行效率低的缺陷，結(jié)合過濾式方法與封裝式方法的特點，提出基于多層 MapReduce的混合網(wǎng)絡(luò)流量特征選擇方法。該方法先通過Fisher Score對數(shù)據(jù)進行預(yù)處理，剔除部分無關(guān)特征，實現(xiàn)高維數(shù)據(jù)的降維；后采用序列前向搜索

3、的搜索策略，通過多層 MapReduce實現(xiàn)分類能力較強的特征的選取。相關(guān)實驗表明，該方法在保持較高的分類精度的同時，有效地減少了特征選擇時間，實現(xiàn)較好的加速比，顯著提高了網(wǎng)絡(luò)流量分類的執(zhí)行效率。
　　針對傳統(tǒng)單一節(jié)點在處理海量網(wǎng)絡(luò)流量數(shù)據(jù)時，存在計算復(fù)雜度和時間效率成倍增加的問題，提出一種并行的網(wǎng)絡(luò)流量分類方法。該方法先基于 MapReduce進行特征選擇去除樣本集中的相關(guān)性和冗余性特征，然后將預(yù)處理之后訓(xùn)練集劃分為多個訓(xùn)練子集