網(wǎng)頁輿情信息過濾系統(tǒng)設(shè)計與實現(xiàn).pdf

1、信息時代的到來，給我們工作和生活帶來方便的同時也帶來了挑戰(zhàn)。由于網(wǎng)絡(luò)的自由屬性泛濫，網(wǎng)絡(luò)中存在大量反動、迷信、黃色等不良輿情信息。這些不良信息如此之多的一個重要原因在于，目前的網(wǎng)頁信息過濾軟件雖然可以挖掘完全匹配（prototype）的關(guān)鍵詞，但越來越多的不良信息采取各種惡意變形關(guān)鍵詞的方式突破了過濾軟件的封鎖。
　　改進(jìn)了抗中文主動干擾方法，完成了完全匹配關(guān)鍵詞挖掘（prototype keywords mining）、夾雜隨機(jī)

2、字符關(guān)鍵詞挖掘（jamming characters mining）和夾雜同音字關(guān)鍵詞挖掘（jamming homophone mining）。在此基礎(chǔ)上，主要完成以下工作：1、夾雜拼音的關(guān)鍵詞挖掘模塊；針對網(wǎng)絡(luò)不法分子慣用的夾雜拼音變形關(guān)鍵詞進(jìn)行挖掘研究，設(shè)計和實現(xiàn)了中文主動干擾環(huán)境下，夾雜拼音變形關(guān)鍵詞的挖掘；2、用基于漢字unicode碼和拼音編碼的二級索引數(shù)據(jù)庫技術(shù)，改進(jìn)了原有數(shù)據(jù)庫檢索技術(shù)，實現(xiàn)高效、高速挖掘不良關(guān)鍵詞，使得挖

3、掘速度有所提高。
　　具體來說，夾雜拼音的關(guān)鍵詞挖掘模塊功能是：針對夾雜形式為整詞變成拼音，或其中的一個字或幾個字變?yōu)槠匆舻亩喾N情況，同時輔以二次匹配技術(shù)，據(jù)此判斷夾雜變形關(guān)鍵詞是否為中文主動干擾的關(guān)鍵詞，然后對整個文本進(jìn)行搜索，從而完成文本的夾雜拼音的關(guān)鍵詞挖掘。
　　本軟件能完成三類任務(wù)：一是實時輸入單個關(guān)鍵詞，對單個文本進(jìn)行完全匹配挖掘、夾雜字符挖掘、夾雜同音字、繁體字挖掘、夾雜拼音挖掘、綜合挖掘五種處理；二是實時上傳

4、關(guān)鍵詞字典（.txt類型）和待處理文件，完成多個關(guān)鍵詞對上傳文文件的五種處理；三是上傳關(guān)鍵詞字典和待處理文件夾，根據(jù)閾值對同一目錄下的文件進(jìn)行分類，超過閾值的頁面均列為不良頁面。
　　軟件適用性較強(qiáng)，能夠處理純文本（.txt）、文件(.doc)、網(wǎng)頁（.htm和.html）等格式的文檔，界面清晰、美觀、友好、和諧。測試結(jié)果表明，本軟件能夠在中文主動干擾環(huán)境下快速完成完全匹配、夾雜字符、夾雜同音字、繁體字、夾雜拼音的關(guān)鍵詞的挖掘任務(wù)