基于文本的敏感信息的監(jiān)測(cè)調(diào)度與去重研究.pdf

1、互聯(lián)網(wǎng)發(fā)展給人們的生活帶來(lái)了很大的便利，極大的推動(dòng)了社會(huì)的進(jìn)步。但與此同時(shí)一些不法分子利用網(wǎng)絡(luò)傳播信息的方便和迅速，在網(wǎng)絡(luò)上傳播一些包含色情、暴恐、反動(dòng)等不良內(nèi)容的敏感信息，給國(guó)家安全，社會(huì)的發(fā)展，人們的生活帶來(lái)了極大的負(fù)面影響。從龐大的互聯(lián)網(wǎng)中及時(shí)的檢索到這些敏感信息并對(duì)其進(jìn)行監(jiān)控成為網(wǎng)絡(luò)安全領(lǐng)域的一個(gè)研究熱點(diǎn)。為了及時(shí)的發(fā)現(xiàn)敏感信息，本文對(duì)敏感信息的監(jiān)測(cè)調(diào)度策略和敏感網(wǎng)頁(yè)去重進(jìn)行了研究，主要的工作如下：
　?、偬岢鲆环N基于網(wǎng)頁(yè)

2、敏感度的敏感網(wǎng)頁(yè)分類監(jiān)測(cè)策略。本文通過(guò)對(duì)網(wǎng)頁(yè)進(jìn)行敏感關(guān)鍵詞匹配，得到敏感關(guān)鍵詞及其在網(wǎng)頁(yè)中的位置，結(jié)合敏感詞本身的敏感度及其在網(wǎng)頁(yè)中位置的影響因子，給出了一種計(jì)算網(wǎng)頁(yè)敏感度的算法。計(jì)算網(wǎng)頁(yè)的敏感度后，根據(jù)敏感網(wǎng)頁(yè)的敏感程度分類進(jìn)行不同頻率的監(jiān)測(cè)，優(yōu)化敏感網(wǎng)監(jiān)測(cè)，提高發(fā)現(xiàn)敏感信息的及時(shí)性。實(shí)驗(yàn)表明該策略能夠有效提高系統(tǒng)發(fā)現(xiàn)敏感信息的及時(shí)性以及重點(diǎn)敏感信息的比例。
　　②提出了一種基于非敏感網(wǎng)頁(yè)變化時(shí)間預(yù)測(cè)的敏感信息補(bǔ)充發(fā)現(xiàn)策略。本文

3、根據(jù)最近幾次網(wǎng)頁(yè)的變化次數(shù)和時(shí)間間隔，對(duì)網(wǎng)頁(yè)的下次變化時(shí)間進(jìn)行預(yù)測(cè)，對(duì)滿足時(shí)間條件的網(wǎng)頁(yè)進(jìn)行爬取，提高爬取經(jīng)常變化的網(wǎng)頁(yè)的頻率，降低爬取不發(fā)生變化的網(wǎng)頁(yè)的頻率，提高經(jīng)常變動(dòng)網(wǎng)頁(yè)的敏感信息發(fā)現(xiàn)速度，提高其發(fā)現(xiàn)新敏感網(wǎng)頁(yè)的總數(shù)。實(shí)驗(yàn)結(jié)果表明該策略能夠較好對(duì)基于網(wǎng)頁(yè)敏感度的敏感網(wǎng)頁(yè)監(jiān)測(cè)策略進(jìn)行補(bǔ)充，進(jìn)一步提高敏感信息的發(fā)現(xiàn)率。
　　③提出了一種基于敏感信息摘要的去重策略。通過(guò)網(wǎng)頁(yè)敏感關(guān)鍵詞匹配，得到網(wǎng)頁(yè)包含的敏感關(guān)鍵詞位置，提取敏感詞對(duì)

4、應(yīng)的敏感上下文，將網(wǎng)頁(yè)的所有敏感詞對(duì)應(yīng)的敏感上下文合并生成網(wǎng)頁(yè)的敏感信息摘要。通過(guò)網(wǎng)頁(yè)敏感摘要信息的編輯距離計(jì)算出敏感摘要信息的相似度。然后比較敏感摘要信息的相似度達(dá)到敏感網(wǎng)頁(yè)的去重功能。實(shí)驗(yàn)表明該策略能夠較好的提高去除重復(fù)網(wǎng)頁(yè)的效果。
　　④在本文提出的策略和方法的基礎(chǔ)上對(duì)敏感信息監(jiān)測(cè)與重復(fù)展示去除進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)，對(duì)本校的部分網(wǎng)站進(jìn)行了掃描和監(jiān)測(cè)，測(cè)試了系統(tǒng)的有效性和穩(wěn)定性。測(cè)試系統(tǒng)運(yùn)行表明，本文提出的敏感信息發(fā)現(xiàn)及去重策略能