網(wǎng)頁輿情信息過濾系統(tǒng)設計與實現(xiàn).pdf

1、信息時代的到來，給我們工作和生活帶來方便的同時也帶來了挑戰(zhàn)。由于網(wǎng)絡的自由屬性泛濫，網(wǎng)絡中存在大量反動、迷信、黃色等不良輿情信息。這些不良信息如此之多的一個重要原因在于，目前的網(wǎng)頁信息過濾軟件雖然可以挖掘完全匹配（prototype）的關鍵詞，但越來越多的不良信息采取各種惡意變形關鍵詞的方式突破了過濾軟件的封鎖。
　　改進了抗中文主動干擾方法，完成了完全匹配關鍵詞挖掘（prototype keywords mining）、夾雜隨機

2、字符關鍵詞挖掘（jamming characters mining）和夾雜同音字關鍵詞挖掘（jamming homophone mining）。在此基礎上，主要完成以下工作：1、夾雜拼音的關鍵詞挖掘模塊；針對網(wǎng)絡不法分子慣用的夾雜拼音變形關鍵詞進行挖掘研究，設計和實現(xiàn)了中文主動干擾環(huán)境下，夾雜拼音變形關鍵詞的挖掘；2、用基于漢字unicode碼和拼音編碼的二級索引數(shù)據(jù)庫技術，改進了原有數(shù)據(jù)庫檢索技術，實現(xiàn)高效、高速挖掘不良關鍵詞，使得挖

3、掘速度有所提高。
　　具體來說，夾雜拼音的關鍵詞挖掘模塊功能是：針對夾雜形式為整詞變成拼音，或其中的一個字或幾個字變?yōu)槠匆舻亩喾N情況，同時輔以二次匹配技術，據(jù)此判斷夾雜變形關鍵詞是否為中文主動干擾的關鍵詞，然后對整個文本進行搜索，從而完成文本的夾雜拼音的關鍵詞挖掘。
　　本軟件能完成三類任務：一是實時輸入單個關鍵詞，對單個文本進行完全匹配挖掘、夾雜字符挖掘、夾雜同音字、繁體字挖掘、夾雜拼音挖掘、綜合挖掘五種處理；二是實時上傳

4、關鍵詞字典（.txt類型）和待處理文件，完成多個關鍵詞對上傳文文件的五種處理；三是上傳關鍵詞字典和待處理文件夾，根據(jù)閾值對同一目錄下的文件進行分類，超過閾值的頁面均列為不良頁面。
　　軟件適用性較強，能夠處理純文本（.txt）、文件(.doc)、網(wǎng)頁（.htm和.html）等格式的文檔，界面清晰、美觀、友好、和諧。測試結果表明，本軟件能夠在中文主動干擾環(huán)境下快速完成完全匹配、夾雜字符、夾雜同音字、繁體字、夾雜拼音的關鍵詞的挖掘任務