網(wǎng)頁信息審查系統(tǒng)設計與實現(xiàn).pdf

1、國際互聯(lián)網(wǎng)已發(fā)展為：網(wǎng)站越來越多，網(wǎng)民越來越多，網(wǎng)民既能接收信息，更能方便地發(fā)布信息，網(wǎng)速也不斷提高。因此，在這自媒體時代，各種言論都容易通過網(wǎng)絡發(fā)表和傳播，網(wǎng)民間的交互和相互影響越來越明顯，非法言論（如黃賭毒、恐怖、暴力血腥信息）很可能引起不良的連鎖反應，對國家安全、社會穩(wěn)定和網(wǎng)絡環(huán)境的健康形成嚴重威脅，造成巨大的負面影響。因此，非常有必要針對網(wǎng)頁的信息進行審查。這是信息安全中一個非常重要的組成部分——內(nèi)容安全。
　　論文分析了

2、各國在網(wǎng)絡審查方面的法律法規(guī)和政策，指出每個國家都在網(wǎng)絡信息方面有明確的法律規(guī)定，對互聯(lián)網(wǎng)上的色情、恐怖、暴力和賭博等有嚴格的審查制度和嚴厲的處罰措施。在技術上，針對文字、圖片和視頻的過濾屏蔽技術也一直在進行研究和開發(fā)，并逐步應用于實際中。
　　本課題設計和開發(fā)了基于瀏覽器/服務器模式的網(wǎng)站信息審查系統(tǒng)，按照軟件工程要求，完成了從需求分析、系統(tǒng)總體設計、詳細設計到編程實現(xiàn)各階段工作，實現(xiàn)了對指定網(wǎng)站信息進行審查，并跟蹤處理的功能。

3、系統(tǒng)包括：1）用戶權限管理：系統(tǒng)主要有兩種角色，即系統(tǒng)管理員和審查員。角色權限由系統(tǒng)管理員進行配置管理。系統(tǒng)管理員主要管理整個系統(tǒng)的使用部門、角色與權限，用戶維護，日志查詢與刪除等。審查員是系統(tǒng)的主要用戶，借助于系統(tǒng)完成審查業(yè)務或職能工作，具體權限有敏感詞設置、信息源設置、搜索信息查詢、審查項標記、審查跟蹤處理等。權限體現(xiàn)為每個菜單項。每種角色定義相應的權限，通過用戶承擔的角色賦予用戶的操作權限。此外，針對每個具體用戶，還可以屏蔽或增加

4、特定權限；2）審查網(wǎng)站設置：系統(tǒng)利用爬蟲技術采集需審查的網(wǎng)站數(shù)據(jù)。網(wǎng)站的首頁或主頁是爬蟲搜索的起始地址。通過該起始地址，爬蟲采用一定的搜索策略遍歷整個網(wǎng)站；3）審查敏感詞設置：系統(tǒng)檢查網(wǎng)頁有無不允許或不適當?shù)奈淖?。如果僅僅是出現(xiàn)關鍵詞或敏感詞就列入嫌疑網(wǎng)頁將會有大量虛警網(wǎng)頁，導致審查員過多的工作量。因此，系統(tǒng)設計為采用敏感詞組合來篩選網(wǎng)頁。這種組合是多個敏感詞通過“和”、“與”、“非”的關系建立的條件表達式，稱之為專題；4）網(wǎng)頁數(shù)據(jù)采集

5、：采用爬蟲技術采集網(wǎng)頁，并通過敏感詞條件表達式進行過濾確定其是否存入數(shù)據(jù)庫以進一步采用人工排查。為提高采集效率，采用元搜索與專用爬蟲相結合的方式采集數(shù)據(jù)；5）全文倒排索引：為了查詢方便快捷，對采集到的網(wǎng)頁建立全文索引。除了可以依據(jù)敏感詞檢索外，還可以依據(jù)任意詞進行檢索，方便審計員查詢網(wǎng)頁信息；6）查詢功能：系統(tǒng)有單獨的頁面提供最新采集到的網(wǎng)頁信息 列表，也提供了多條件的高級檢索頁面，可以按敏感詞、時間或?qū)ｎ}進行檢索。通過檢索和查詢得到采