硬件查找算法在內(nèi)容過濾中的研究與實現(xiàn).pdf

1、內(nèi)容過濾是對網(wǎng)絡(luò)內(nèi)容進行監(jiān)控，防止某些特定內(nèi)容的信息在網(wǎng)絡(luò)上進行傳輸?shù)募夹g(shù)，一種能夠有效識別垃圾文本信息的過濾方法具有重要的經(jīng)濟價值和社會價值。隨著網(wǎng)絡(luò)帶寬的提高，軟件內(nèi)容過濾在大流量網(wǎng)絡(luò)中不能及時地對數(shù)據(jù)包進行檢測，因此基于硬件設(shè)計的內(nèi)容過濾系統(tǒng)因其高效、可靠、安全性強等優(yōu)點成為研究重點。然而制約硬件內(nèi)容過濾速度的重要環(huán)節(jié)就是查找。本文從當(dāng)前常用的基于硬件的查找算法入手，針對內(nèi)容過濾的特點，研究有效的大規(guī)模特征詞查找算法，設(shè)計并實現(xiàn)基

2、于FPGA的內(nèi)容過濾系統(tǒng)，實現(xiàn)對用戶數(shù)據(jù)包的實時分類檢測。
　　 全文主要進行了如下工作：
　　 1)討論當(dāng)前較常見的查找算法：RAM查找、CAM查找、并行比較器、Aho-Corasick算法以及Bloom Filter算法。了解不同查找算法的主要思想以及改進方法等，同時介紹以上常見算法的具體應(yīng)用實例和實現(xiàn)方法。了解這些算法的核心思想，為硬件內(nèi)容過濾中的查找模塊提供算法和框架支持。
　　 2)了解內(nèi)容過濾的基本概

3、念，以及基本實現(xiàn)框架，采用基于統(tǒng)計的貝葉斯算法進行具體分析。在最小風(fēng)險分類算法基礎(chǔ)上，提出雙重閾值的基于最小風(fēng)險貝葉斯文本分類算法，目的是提高系統(tǒng)的可控性，減小單一風(fēng)險系數(shù)對召回率(Recall Rate)的影響。
　　 3)進一步優(yōu)化雙閾值最小風(fēng)險貝葉斯算法，使其適合硬件語言設(shè)計，便于移植到FPGA中實現(xiàn)。討論硬件文本分類系統(tǒng)中三次查找操作的需求，在同一系統(tǒng)中采用不同的查找實現(xiàn)方式，并分析大規(guī)模特征詞的查找操作存在的難點，為后

4、續(xù)的算法設(shè)計打下基礎(chǔ)。
　　 4)解決大規(guī)模特征詞查找的問題，首先分析漢字在數(shù)據(jù)包傳輸中的編碼格式，并根據(jù)需求提出了一種并行的基于RAM的Counter Bloom Filter的查找結(jié)構(gòu)，并解決了原有CBF算法中僅有匹配信號輸出的問題，改進了CBF的寄存器組，滿足了貝葉斯分類計算模塊的功能需求。
　　 5)對提出的改進算法進行性能分析，并使用FPGA實現(xiàn)內(nèi)容過濾系統(tǒng)。搭建整體系統(tǒng)框架，設(shè)計了內(nèi)容過濾系統(tǒng)的基本功能模塊，