網(wǎng)頁(yè)輿情信息過(guò)濾系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、信息時(shí)代的到來(lái)，給我們工作和生活帶來(lái)方便的同時(shí)也帶來(lái)了挑戰(zhàn)。由于網(wǎng)絡(luò)的自由屬性泛濫，網(wǎng)絡(luò)中存在大量反動(dòng)、迷信、黃色等不良輿情信息。這些不良信息如此之多的一個(gè)重要原因在于，目前的網(wǎng)頁(yè)信息過(guò)濾軟件雖然可以挖掘完全匹配（prototype）的關(guān)鍵詞，但越來(lái)越多的不良信息采取各種惡意變形關(guān)鍵詞的方式突破了過(guò)濾軟件的封鎖。
　　改進(jìn)了抗中文主動(dòng)干擾方法，完成了完全匹配關(guān)鍵詞挖掘（prototype keywords mining）、夾雜隨機(jī)

2、字符關(guān)鍵詞挖掘（jamming characters mining）和夾雜同音字關(guān)鍵詞挖掘（jamming homophone mining）。在此基礎(chǔ)上，主要完成以下工作：1、夾雜拼音的關(guān)鍵詞挖掘模塊；針對(duì)網(wǎng)絡(luò)不法分子慣用的夾雜拼音變形關(guān)鍵詞進(jìn)行挖掘研究，設(shè)計(jì)和實(shí)現(xiàn)了中文主動(dòng)干擾環(huán)境下，夾雜拼音變形關(guān)鍵詞的挖掘；2、用基于漢字unicode碼和拼音編碼的二級(jí)索引數(shù)據(jù)庫(kù)技術(shù)，改進(jìn)了原有數(shù)據(jù)庫(kù)檢索技術(shù)，實(shí)現(xiàn)高效、高速挖掘不良關(guān)鍵詞，使得挖

3、掘速度有所提高。
　　具體來(lái)說(shuō)，夾雜拼音的關(guān)鍵詞挖掘模塊功能是：針對(duì)夾雜形式為整詞變成拼音，或其中的一個(gè)字或幾個(gè)字變?yōu)槠匆舻亩喾N情況，同時(shí)輔以二次匹配技術(shù)，據(jù)此判斷夾雜變形關(guān)鍵詞是否為中文主動(dòng)干擾的關(guān)鍵詞，然后對(duì)整個(gè)文本進(jìn)行搜索，從而完成文本的夾雜拼音的關(guān)鍵詞挖掘。
　　本軟件能完成三類任務(wù)：一是實(shí)時(shí)輸入單個(gè)關(guān)鍵詞，對(duì)單個(gè)文本進(jìn)行完全匹配挖掘、夾雜字符挖掘、夾雜同音字、繁體字挖掘、夾雜拼音挖掘、綜合挖掘五種處理；二是實(shí)時(shí)上傳

4、關(guān)鍵詞字典（.txt類型）和待處理文件，完成多個(gè)關(guān)鍵詞對(duì)上傳文文件的五種處理；三是上傳關(guān)鍵詞字典和待處理文件夾，根據(jù)閾值對(duì)同一目錄下的文件進(jìn)行分類，超過(guò)閾值的頁(yè)面均列為不良頁(yè)面。
　　軟件適用性較強(qiáng)，能夠處理純文本（.txt）、文件(.doc)、網(wǎng)頁(yè)（.htm和.html）等格式的文檔，界面清晰、美觀、友好、和諧。測(cè)試結(jié)果表明，本軟件能夠在中文主動(dòng)干擾環(huán)境下快速完成完全匹配、夾雜字符、夾雜同音字、繁體字、夾雜拼音的關(guān)鍵詞的挖掘任務(wù)