面向高速流量環(huán)境的網(wǎng)絡用戶識別技術研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)的快速發(fā)展和普及，互聯(lián)網(wǎng)用戶及終端設備數(shù)量呈現(xiàn)爆發(fā)式的增長。同時，互聯(lián)網(wǎng)也成為了網(wǎng)絡犯罪的溫床，各類犯罪事件頻繁發(fā)生，因此加強對網(wǎng)絡的監(jiān)管勢在必行。在此背景下，如何基于網(wǎng)絡流量分析實時識別網(wǎng)絡用戶成為研究的熱點。
　　目前大多數(shù)研究工作將對用戶的識別等同于對終端的識別，當用戶擁有多個終端設備，或者終端設備被多個用戶共享使用時，其識別準確率會顯著降低。這些終端設備識別技術或是利用物理信號區(qū)分硬件設備的細微差異，其識

2、別能力較弱;或是利用協(xié)議棧的相關參數(shù)識別操作系統(tǒng)，其識別粒度不夠。而現(xiàn)有的基于網(wǎng)絡流量分析的用戶識別技術，往往僅利用Web訪問記錄識別用戶，其提取的特征太少、周期太長，無法有效地在線識別網(wǎng)絡用戶。此外，傳統(tǒng)集中式計算技術無法滿足高速網(wǎng)絡流量數(shù)據(jù)實時分析與處理的需求。針對上述問題，本論文研究了基于分布式處理的網(wǎng)絡用戶在線識別技術，并實現(xiàn)了一套原型系統(tǒng)。主要工作包含以下三個方面:
　　1.研究了基于分布式計算的高速網(wǎng)絡流量分析技術。利

3、用PFQ內核模塊在高速網(wǎng)絡環(huán)境下抓取數(shù)據(jù)包，再由分布式消息隊列Kafka將數(shù)據(jù)包傳遞至分布式處理模塊，在完成對報文內容的解析與過濾、應用協(xié)議識別、應用程序識別、User-Agent檢測以及DNS解析等任務后，提取應用程序、操作系統(tǒng)、User-Agent、DNS域名以及Web訪問記錄等信息，保存至分布式數(shù)據(jù)庫HBase中。
　　2.研究了網(wǎng)絡用戶在線識別技術。針對用戶終端的運行環(huán)境，選擇應用程序、操作系統(tǒng)以及User-Agent字段

4、生成設備指紋，共包含961個特征列，并以多種分類算法訓練和驗證離線分類模型，最后選擇邏輯回歸模型以滑動窗口方式在線識別用戶終端。針對用戶的網(wǎng)絡行為習慣，選擇Web訪問記錄、DNS域名以及User-Agent字段生成行為指紋，共包含57593個特征列，以多種分類算法訓練并驗證離線分類模型，最后選擇多項式樸素貝葉斯模型以滑動窗口方式在線識別網(wǎng)絡用戶。網(wǎng)絡用戶的在線識別準確率可以達到79.51％，同時網(wǎng)絡用戶的在線識別所需時間可以縮短至5分鐘