基于HTTP協(xié)議面向中文文本的過濾技術(shù)研究.pdf

1、21世紀(jì)是網(wǎng)絡(luò)時代，人們的工作、學(xué)習(xí)和生活都與網(wǎng)絡(luò)息息相關(guān)。但網(wǎng)絡(luò)在給世人提供方便快捷的服務(wù)同時，也埋下了很多社會道德、法制、政治隱患，究其來源，就是網(wǎng)絡(luò)中不良信息的泛濫。本文研究的主要內(nèi)容就是如何在網(wǎng)絡(luò)信息與用戶之間建立起一個信息的過濾屏障，將網(wǎng)絡(luò)中的不良信息攔截在用戶的可視范圍之外。 網(wǎng)絡(luò)信息中一個重要的信息載體是網(wǎng)頁，本文選用HTTP協(xié)議作為研究對象，提出了一種面向中文文本的信息過濾模型。本文的研究重點(diǎn)是HTTP協(xié)議數(shù)據(jù)報

2、的攔截分析和中文字符串的匹配，針對當(dāng)前的研究現(xiàn)狀和存在的問題做了如下工作： 1、關(guān)于網(wǎng)絡(luò)數(shù)據(jù)的攔截可以在核心態(tài)和用戶態(tài)兩個層面上進(jìn)行。核心態(tài)網(wǎng)絡(luò)數(shù)據(jù)的攔截功能強(qiáng)大，但需要對數(shù)據(jù)包進(jìn)行重組和還原，技術(shù)實現(xiàn)復(fù)雜，而用戶態(tài)下網(wǎng)絡(luò)數(shù)據(jù)的攔截實現(xiàn)簡單，更重要的一點(diǎn)是截獲到的數(shù)據(jù)報完整，易于分析，所以本文采用了用戶態(tài)下的SPI(Service Provider Interface)網(wǎng)絡(luò)數(shù)據(jù)報攔截技術(shù)獲取網(wǎng)絡(luò)數(shù)據(jù)。 2、文本過濾中經(jīng)常

3、會受到一些偽裝詞匯的干擾，本文提出了一種利用字符編碼的規(guī)律，通過一次掃描預(yù)處理，剔除敏感信息分割偽裝的方法，有效提高了過濾的準(zhǔn)確率。 3、關(guān)鍵詞的匹配速度是文本過濾的速度瓶頸，筆者研究了幾種常見的關(guān)鍵字匹配算法，發(fā)現(xiàn)這些算法都是面向小字符集文本，對于中文這樣的大字符集而言效果不夠理想。因此，本文通過改進(jìn)WM算法，提出了一種面向中文文本的快速字符串匹配算法(CM算法)。 4、對于含不良信息的數(shù)據(jù)報處理，本文采用的是先計算攔