基于文本的敏感信息的監(jiān)測調(diào)度與去重研究.pdf

1、互聯(lián)網(wǎng)發(fā)展給人們的生活帶來了很大的便利，極大的推動(dòng)了社會的進(jìn)步。但與此同時(shí)一些不法分子利用網(wǎng)絡(luò)傳播信息的方便和迅速，在網(wǎng)絡(luò)上傳播一些包含色情、暴恐、反動(dòng)等不良內(nèi)容的敏感信息，給國家安全，社會的發(fā)展，人們的生活帶來了極大的負(fù)面影響。從龐大的互聯(lián)網(wǎng)中及時(shí)的檢索到這些敏感信息并對其進(jìn)行監(jiān)控成為網(wǎng)絡(luò)安全領(lǐng)域的一個(gè)研究熱點(diǎn)。為了及時(shí)的發(fā)現(xiàn)敏感信息，本文對敏感信息的監(jiān)測調(diào)度策略和敏感網(wǎng)頁去重進(jìn)行了研究，主要的工作如下：
　　①提出一種基于網(wǎng)頁

2、敏感度的敏感網(wǎng)頁分類監(jiān)測策略。本文通過對網(wǎng)頁進(jìn)行敏感關(guān)鍵詞匹配，得到敏感關(guān)鍵詞及其在網(wǎng)頁中的位置，結(jié)合敏感詞本身的敏感度及其在網(wǎng)頁中位置的影響因子，給出了一種計(jì)算網(wǎng)頁敏感度的算法。計(jì)算網(wǎng)頁的敏感度后，根據(jù)敏感網(wǎng)頁的敏感程度分類進(jìn)行不同頻率的監(jiān)測，優(yōu)化敏感網(wǎng)監(jiān)測，提高發(fā)現(xiàn)敏感信息的及時(shí)性。實(shí)驗(yàn)表明該策略能夠有效提高系統(tǒng)發(fā)現(xiàn)敏感信息的及時(shí)性以及重點(diǎn)敏感信息的比例。
　?、谔岢隽艘环N基于非敏感網(wǎng)頁變化時(shí)間預(yù)測的敏感信息補(bǔ)充發(fā)現(xiàn)策略。本文

3、根據(jù)最近幾次網(wǎng)頁的變化次數(shù)和時(shí)間間隔，對網(wǎng)頁的下次變化時(shí)間進(jìn)行預(yù)測，對滿足時(shí)間條件的網(wǎng)頁進(jìn)行爬取，提高爬取經(jīng)常變化的網(wǎng)頁的頻率，降低爬取不發(fā)生變化的網(wǎng)頁的頻率，提高經(jīng)常變動(dòng)網(wǎng)頁的敏感信息發(fā)現(xiàn)速度，提高其發(fā)現(xiàn)新敏感網(wǎng)頁的總數(shù)。實(shí)驗(yàn)結(jié)果表明該策略能夠較好對基于網(wǎng)頁敏感度的敏感網(wǎng)頁監(jiān)測策略進(jìn)行補(bǔ)充，進(jìn)一步提高敏感信息的發(fā)現(xiàn)率。
　?、厶岢隽艘环N基于敏感信息摘要的去重策略。通過網(wǎng)頁敏感關(guān)鍵詞匹配，得到網(wǎng)頁包含的敏感關(guān)鍵詞位置，提取敏感詞對

4、應(yīng)的敏感上下文，將網(wǎng)頁的所有敏感詞對應(yīng)的敏感上下文合并生成網(wǎng)頁的敏感信息摘要。通過網(wǎng)頁敏感摘要信息的編輯距離計(jì)算出敏感摘要信息的相似度。然后比較敏感摘要信息的相似度達(dá)到敏感網(wǎng)頁的去重功能。實(shí)驗(yàn)表明該策略能夠較好的提高去除重復(fù)網(wǎng)頁的效果。
　?、茉诒疚奶岢龅牟呗院头椒ǖ幕A(chǔ)上對敏感信息監(jiān)測與重復(fù)展示去除進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)，對本校的部分網(wǎng)站進(jìn)行了掃描和監(jiān)測，測試了系統(tǒng)的有效性和穩(wěn)定性。測試系統(tǒng)運(yùn)行表明，本文提出的敏感信息發(fā)現(xiàn)及去重策略能