網頁關鍵字過濾研究及改進.pdf

1、在信息化高度發(fā)達的今天，互聯網已經成為人們獲取信息，即時溝通的重要媒介之一，給人們工作生活帶來了很大的便利。但是由于其全球性、開放性、即時性的特點，互聯網也成為不法分子傳播不良信息的重要途徑，與傳統(tǒng)媒體相比更為棘手。如何對互聯網進行有效的管理，過濾其中的不良信息，凈化網絡環(huán)境成為苛待解決的問題。
　　 目前網絡中70％的信息是以文本形式存在，網頁文本過濾成為目前網絡監(jiān)控的最重要手段。文本過濾方法有很多，關鍵字過濾是目前應用最廣和

2、最為可靠的技術，雖然存在一定的局限性，但是由于其過濾速度快、易于實現得到很大應用。本文就是針對文本關鍵字過濾的局限性，提出合理的解決方案，并設計了系統(tǒng)。
　　 本文首先簡要介紹了網頁文本過濾的背景，系統(tǒng)地探討了關鍵字過濾流程的各個環(huán)節(jié)，其中包括概念擴展，敏感詞特點分析和特征抽取，并提出了相應的解決方案。文章借鑒了其它文本過濾方法的優(yōu)點，充分考慮了系統(tǒng)地召回率、查準率，運行效率及可實現性，給出了一種改進的網頁文本過濾系統(tǒng)的體系結構

3、，并詳細闡述了一種多層次的網頁文本關鍵字過濾方法，給出了實現該系統(tǒng)主要模塊的數學模型及相關算法。
　　 本文所設計系統(tǒng)由兩部分組成：數據包捕獲與重組子系統(tǒng)和文本關鍵字過濾子系統(tǒng)。數據包捕獲與重組子系統(tǒng)用來捕獲局域網中流經網卡的web數據包，并對捕獲的數據包重組，將其還原成完整的web頁面。在文本關鍵字過濾子系統(tǒng)設計中，詳細分析了當前網頁中敏感詞隱藏主要特點，改進了基于字典的敏感詞識別方法，使敏感詞恢復原始組合狀態(tài)。改進了關鍵權值