網(wǎng)絡(luò)內(nèi)容過(guò)濾系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、校園網(wǎng)給師生提供便利的同時(shí)也帶來(lái)了危害，大量不健康和無(wú)用的信息充斥著網(wǎng)絡(luò)世界，給高校校園網(wǎng)的管理和維護(hù)帶來(lái)了很大的挑戰(zhàn)。網(wǎng)絡(luò)內(nèi)容過(guò)濾是一種有效的應(yīng)對(duì)方法，能夠自動(dòng)地將網(wǎng)絡(luò)中特定的信息過(guò)濾掉。
　　本文首先回顧了國(guó)內(nèi)外網(wǎng)絡(luò)過(guò)濾領(lǐng)域的發(fā)展現(xiàn)狀、存在的問(wèn)題以及常見(jiàn)的過(guò)濾方法。本系統(tǒng)實(shí)現(xiàn)了兩個(gè)關(guān)鍵的系統(tǒng)功能模塊：網(wǎng)絡(luò)數(shù)據(jù)包的捕獲和重組模塊、網(wǎng)絡(luò)文本數(shù)據(jù)處理模塊。文中完成了網(wǎng)絡(luò)內(nèi)容過(guò)濾系統(tǒng)兩大關(guān)鍵功能：實(shí)現(xiàn)對(duì)特定URL的過(guò)濾以及對(duì)網(wǎng)頁(yè)正文內(nèi)

2、容的過(guò)濾，其中網(wǎng)頁(yè)正文是文本內(nèi)容，不包括圖像視頻等多媒體信息。
　　網(wǎng)絡(luò)數(shù)據(jù)捕獲模塊主要研究分析了網(wǎng)絡(luò)協(xié)議的解析，在具體的分析過(guò)程中涉及到以太網(wǎng)數(shù)據(jù)幀、IP數(shù)據(jù)包、TCP數(shù)據(jù)段和HTTP報(bào)文，同時(shí)在基于網(wǎng)絡(luò)協(xié)議分析的基礎(chǔ)上完成了在Windows系統(tǒng)下利用網(wǎng)絡(luò)數(shù)據(jù)包捕獲庫(kù)Winpcap對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的捕獲和分析，最終這個(gè)模塊實(shí)現(xiàn)了URL過(guò)濾功能和HTML的頁(yè)面重組，為文本數(shù)據(jù)處理模塊提供了文本數(shù)據(jù)。根據(jù)校園網(wǎng)的特點(diǎn)，URL過(guò)濾功能中的

3、URL過(guò)濾庫(kù)可以由自行定義的多個(gè)不同規(guī)則庫(kù)組成，并且根據(jù)不同時(shí)間段運(yùn)行不同的過(guò)濾規(guī)則庫(kù)。
　　網(wǎng)絡(luò)文本數(shù)據(jù)處理模塊研究了網(wǎng)頁(yè)文本分類技術(shù)。因?yàn)榫W(wǎng)頁(yè)文本是一種半結(jié)構(gòu)化的文本數(shù)據(jù)，首先研究和實(shí)現(xiàn)了從網(wǎng)頁(yè)文本中提取文本數(shù)據(jù)。然后重點(diǎn)研究了文本分類技術(shù)，主要包括文本預(yù)處理和文本分類器的訓(xùn)練兩大技術(shù)難點(diǎn)。文本預(yù)處理技術(shù)中還涉及到中文分詞、特征選擇和權(quán)重計(jì)算等技術(shù)。對(duì)現(xiàn)在主流的各種文本分類器進(jìn)行了理論上的分析和比較，最終根據(jù)校園網(wǎng)的特點(diǎn)選擇了