數(shù)據(jù)挖掘在Internet有害信息過濾中的應(yīng)用.pdf

1、近年來，我國互聯(lián)網(wǎng)發(fā)展迅速，對于促進經(jīng)濟發(fā)展和社會進步、提高全民族科學文化素質(zhì)、加強社會主義精神文明建設(shè)，起到了重要作用。但與此同時，互聯(lián)網(wǎng)信息內(nèi)容的安全管理工作也面臨著一些新的情況和問題，境內(nèi)外敵對勢力和一些不法分子，利用互聯(lián)網(wǎng)進行各種違法犯罪活動問題突出，各種反動、淫穢、迷信、暴力等有害信息在互聯(lián)網(wǎng)上的傳播，嚴重地危害了國家安全和社會穩(wěn)定，影響了社會主義精神文明建設(shè)，對青少年的身心健康造成極大傷害，廣大人民群眾和社會各界反應(yīng)強烈。

2、 據(jù)中國互聯(lián)網(wǎng)信息中心(CNNIC)發(fā)布的“第十六次互聯(lián)網(wǎng)發(fā)展狀況統(tǒng)計報告”顯示，截止2005年6月30日，我國上網(wǎng)用戶總?cè)藬?shù)已經(jīng)達到10300萬人，網(wǎng)站總數(shù)達到677500個。面對如此眾多的網(wǎng)站，傳統(tǒng)的通過人工瀏覽來進行內(nèi)容核查的方式，不僅需要大量的人力和財力，也難以在有限的時間內(nèi)發(fā)現(xiàn)網(wǎng)絡(luò)上出現(xiàn)的特定內(nèi)容。因此有必要研制一種計算機軟件來幫助人們自動搜集網(wǎng)絡(luò)信息、分析信息的內(nèi)容，從而為人工甄別提供便捷有效的技術(shù)手段。 本文

3、對網(wǎng)絡(luò)信息挖掘、文本挖掘、搜索引擎的工作機理以及WebBrowser、Mshtml組件進行了深入研究，在此基礎(chǔ)上，設(shè)訃并實現(xiàn)了一整套互聯(lián)網(wǎng)有害信息搜索采集系統(tǒng)(ASystemforSearchingandCollectingHarmfulMessagesintheInternet)，所做的主要工作包括： 1、對數(shù)據(jù)挖掘、網(wǎng)絡(luò)信息挖掘、文本挖掘技術(shù)進行了分析，提出了如何在BBS、聊天室等交互式欄目中進行特征提取，關(guān)鍵詞搜索的方法。

4、 2、分析了網(wǎng)頁的結(jié)構(gòu)和BBS的構(gòu)成，通過設(shè)置網(wǎng)頁的搜索策略和采用深度優(yōu)先搜索算法，完成了對網(wǎng)站和BBS的整站搜索。 3、分析了IE的體系結(jié)構(gòu)和WebBrowser、Mshtml組件的基本功能，對聊天室頁面結(jié)構(gòu)進行HTML元素分析，實現(xiàn)了聊天室的自動登陸和對聊天信息的動態(tài)監(jiān)控。 4、探討了網(wǎng)絡(luò)搜索引擎的工作原理和檢索模型，通過分析Google、Baidu等搜索引擎的輸出結(jié)果特征，獲得了搜索引擎搜索數(shù)據(jù)的通用代碼。