基于Web數(shù)據(jù)挖掘的信息綜合服務系統(tǒng)分析與設計.pdf

1、隨著信息技術(shù)的迅猛發(fā)展和廣泛應用,特別是我國國民經(jīng)濟和社會信息化進程的全面加快,互聯(lián)網(wǎng)的基礎性、全局性作用日益增強,已成為國家和社會發(fā)展的新的重要戰(zhàn)略資源。與此同時互聯(lián)網(wǎng)也給國家安全、社會穩(wěn)定帶來了嚴峻的挑戰(zhàn)。近年來,一些群體性事件、突發(fā)事件和熱點、敏感問題在網(wǎng)上被惡意炒作,形成了強大的網(wǎng)上輿論氣候,各種煽動組織、串聯(lián)等信息通過互聯(lián)網(wǎng)的各種服務方式快速、廣泛傳播,嚴重威脅社會穩(wěn)定,網(wǎng)上有關(guān)社會穩(wěn)定和國家安全的問題已經(jīng)十分突出。目前,國內(nèi)

2、主要從事互聯(lián)網(wǎng)輿情監(jiān)控技術(shù)研究的機構(gòu)是人民日報社網(wǎng)絡中心輿情監(jiān)測室。政府機關(guān)開展網(wǎng)絡監(jiān)察工作的單位主要是公安機關(guān),而公安部門開展互聯(lián)網(wǎng)輿情監(jiān)控工作的主要是網(wǎng)絡監(jiān)察部門。對于公安機關(guān)其他部門開展網(wǎng)絡輿情監(jiān)控工作則是通過人工網(wǎng)上巡控的方式實現(xiàn)的,那樣工作效率低,信息采集量小,獲取有價值信息比較困難。因此,建立一種互聯(lián)網(wǎng)輿情監(jiān)控的機制是非常必要和緊迫的。本項目就是基于以上目的進行設計和研究的。
　　本系統(tǒng)的設計是基于作者本身實際工作的需

3、求,按照功能劃分主要分為:ETL數(shù)據(jù)獲取子系統(tǒng)、面向業(yè)務的數(shù)據(jù)處理子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)、信息綜合服務子系統(tǒng)四部分。ETL數(shù)據(jù)獲取子系統(tǒng)的功能定位是實現(xiàn)對一些重點網(wǎng)站、論壇、網(wǎng)頁微博和博客的相關(guān)Web數(shù)據(jù)的獲取、轉(zhuǎn)換、導入;面向業(yè)務的數(shù)據(jù)處理子系統(tǒng)的功能定位是對ETL數(shù)據(jù)獲取子系統(tǒng)獲取的數(shù)據(jù)根據(jù)業(yè)務需求進行數(shù)據(jù)再加工;數(shù)據(jù)挖掘子系統(tǒng)的功能定位是對再加工的分類數(shù)據(jù)進行數(shù)據(jù)挖掘,從中發(fā)現(xiàn)對我們來說有價值的情報信息;信息綜合服務子系統(tǒng)的功能定

4、位是為系統(tǒng)用戶提供信息綜合查詢服務,并為本地區(qū)本部門業(yè)務人員參與面向業(yè)務的數(shù)據(jù)再加工提供界面接口。
　　數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的應用是本系統(tǒng)的關(guān)鍵,他們直接決定了本系統(tǒng)的實現(xiàn)是否能達到我們的預期。本文首先介紹了數(shù)據(jù)倉庫的一般理論知識、Web數(shù)據(jù)挖掘技術(shù)的研究與發(fā)展;接著從用戶的角度對本系統(tǒng)的設計進行了相應的需求分析;重點研究和討論了在本系統(tǒng)中數(shù)據(jù)倉庫維度模型設計、數(shù)據(jù)挖掘技術(shù)的實現(xiàn)和應用;最后對系統(tǒng)測試和試運行情況進行了一個簡單的