面向非法文本的安全過濾.pdf

1、隨著計算機和通訊技術(shù)的發(fā)展和進步，人類社會進入了信息社會?；ヂ?lián)網(wǎng)已經(jīng)在人們的日常信息交流中占據(jù)這越來越重要的地位，但是，Web網(wǎng)頁中也包含有不少不健康的內(nèi)容，其中不乏反動、暴力、封建迷信等內(nèi)容的不良信息，使得人們不勝其煩，迫切地期望在瀏覽各種網(wǎng)頁的時候，能夠有效的避免垃圾信息的干擾，因而對對網(wǎng)絡(luò)內(nèi)容的監(jiān)控和過濾逐漸成為研究熱點。
　　 本文研究了面向Web頁面中特定主題的過濾問題，分析了面向特定主題進行內(nèi)容過濾的特點以及web頁

2、面的內(nèi)容特征，并基于分類的潛在語義模型(CLSI)，設(shè)計了基于CLSI的Web內(nèi)容過濾器，主要工作如下：
　　 1)本文研究了主題信息中特征詞的特點后，在對頁面的預(yù)處理中，采用只對詞性標(biāo)注后的名詞，動詞，形容詞進行處理，取代了傳統(tǒng)的去除停用詞的步驟，并且在系統(tǒng)的訓(xùn)練過程后將提取的特征詞保存在特征詞表中，作為本主題的主題詞典，在以后的過濾過程中，可以對頁面內(nèi)容直接根據(jù)特征詞表進行處理，提高了系統(tǒng)的運行效率和過濾的準(zhǔn)確性。
　

3、　 2)文章對Web頁面標(biāo)簽與文字重要度進行了研究，對一些web標(biāo)簽進行了權(quán)重設(shè)計，在對頁面進行文本的特征項提取和權(quán)重計算中，加入對網(wǎng)頁中的文字標(biāo)記格式的處理，使得對web頁面的文字處理更有針對性。
　　 3)潛在語義模型(LSI)解決了傳統(tǒng)的文本過濾模型只針對詞語進行淺層統(tǒng)計的局限性，能很好的體現(xiàn)出了整個文檔集的語義結(jié)構(gòu)，但由于其并沒有對主題信息中的正反文本進行區(qū)分學(xué)習(xí)，因此對特征詞的區(qū)分度不是很好，本文提出了一種基于分類的