基于概念集合的網(wǎng)頁內(nèi)容過濾方法的研究.pdf

1、由于Internet的普及和發(fā)展，人類社會進入了信息社會?；ヂ?lián)網(wǎng)在人們的日常信息交流中占據(jù)著越來越重要的地位。網(wǎng)頁的內(nèi)容逐漸豐富，涉及的領(lǐng)域越來越廣泛，同時網(wǎng)頁的內(nèi)容形式也更加多樣化，比如文字、圖像、視頻、音頻等。而最為普遍的形式當屬文字內(nèi)容，是網(wǎng)頁內(nèi)容的主要載體，因此隨著計算機和互聯(lián)網(wǎng)的推廣和應(yīng)用，由數(shù)據(jù)處理、信息處理到知識處理，對語言文字處理要求的深度和廣度越來越高。正因為文字信息如此重要，所以網(wǎng)頁文字信息中很有可能會加入一些敏感信

2、息，給人們的生活、甚至社會帶來危害。本文主要針對網(wǎng)頁文字信息中的不良信息進行分析，深入研究過濾方法，達到對網(wǎng)絡(luò)信息的安全過濾。
　　 以往的網(wǎng)頁過濾算法大多是以基于統(tǒng)計過濾或關(guān)鍵詞過濾，這些過濾算法實現(xiàn)比較簡單而且快速，但是也存在著不足，那就是：只是在字面意義上機械的理解網(wǎng)頁內(nèi)容，往往不能深入的了解，忽略了文本中的語義約束，無法有效識別帶有語義傾向性的信息，最終導(dǎo)致過濾的效果并不理想。所以結(jié)果表明，如果要提高過濾算法的準確度，應(yīng)

3、該加入語義傾向性的判斷，試圖真正了解作者要表達的內(nèi)容。
　　 本文利用知網(wǎng)(HowNet)和分類算法提出了一種基于概念集合的網(wǎng)頁過濾方法。針對互聯(lián)網(wǎng)資源的豐富性和開放性的特點，首先對網(wǎng)絡(luò)中收集的文本進行預(yù)處理工作，即分詞以及詞性的標注，為過濾做準備。然后按照本文提出的概念集合算法的步驟進行各個集合的相似度匹配。由于最能表達作者觀點或意圖的信息往往來自于動詞或者形容詞，同時否定詞和副詞也尤其重要，所以根據(jù)本文構(gòu)造的情感詞典對這些詞