WEB內(nèi)容監(jiān)控的研究與實現(xiàn).pdf

1、在當前社會環(huán)境和Internet網(wǎng)絡環(huán)境日趨復雜的條件下，網(wǎng)絡信息已經(jīng)對社會的穩(wěn)定和人們的生活產(chǎn)生了重大的影響。為了防止互聯(lián)網(wǎng)上非法信息的傳播和瀏覽，對WEB內(nèi)容進行主動監(jiān)管，保證互聯(lián)網(wǎng)環(huán)境的健康發(fā)展，成為關系社會穩(wěn)定的重要課題，因此研究主動對網(wǎng)站內(nèi)容進行監(jiān)控的技術具有重要的意義。
　　本論文對開源網(wǎng)絡爬蟲、WEB信息抽取、文本挖掘相關技術進行研究，并在此基礎上實現(xiàn)了一個網(wǎng)絡內(nèi)容監(jiān)控系統(tǒng)—WCMS（Web Content Moni

2、tor System），通過WCMS對網(wǎng)站內(nèi)容進行主動監(jiān)控，分析其網(wǎng)頁內(nèi)容，將網(wǎng)頁內(nèi)容熱點排序展示、內(nèi)容分類展示、話題展示，便于監(jiān)控者對網(wǎng)站內(nèi)容進行分析和了解網(wǎng)絡上的熱點信息。
　　WCMS系統(tǒng)主要包括三個相互獨立模塊的研究與實現(xiàn)：
　　1) WCMS爬蟲與信息抽取模塊：WCMS爬蟲基于開源網(wǎng)絡爬蟲進行擴展,獲取WEB原始數(shù)據(jù)；通過對WEB信息抽取的研究，實現(xiàn)對WEB原始數(shù)據(jù)進行正文內(nèi)容、標題、評論等關鍵信息的抽取，并將WE

3、B原始數(shù)據(jù)和提取的信息進行分類保存，便于后續(xù)處理。
　　2) WCMS信息處理模塊：首先設計并實現(xiàn)了一個數(shù)據(jù)庫存取接口，通過此接口從數(shù)據(jù)庫中取出網(wǎng)頁正文內(nèi)容集合?；趯ξ谋就诰蛳嚓P技術的研究，對網(wǎng)頁正文內(nèi)容集合進行文本預處理，然后進行文本分類、聚類處理，并將處理結果寫入數(shù)據(jù)庫相應網(wǎng)頁記錄中。通過給網(wǎng)頁標題、作者、評論、正文分類結果和聚類結果各自賦予不同的權值，設計并實現(xiàn)了一個評估網(wǎng)頁內(nèi)容熱點程度的方法，通過此方法對網(wǎng)頁內(nèi)容進行熱點