基于主題和類別的網(wǎng)絡新聞采集系統(tǒng)設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡新聞成為人們獲取信息的重要來源之一。網(wǎng)絡新聞具有傳播速度快、影響范圍大、社會受眾面廣等優(yōu)點，但是也存在一些虛假性、低質量的網(wǎng)絡新聞，網(wǎng)絡新聞質量的參差不齊降低了用戶的閱讀體驗。另外，網(wǎng)絡新聞在某種程度上成為網(wǎng)絡輿論的來源和傳播途徑，因此在海量的網(wǎng)絡新聞數(shù)據(jù)中采集到真實、準確、結構化的網(wǎng)絡新聞數(shù)據(jù)成為網(wǎng)絡輿情研究的重點。本文面向主題網(wǎng)絡新聞和類別網(wǎng)絡新聞，著重解決了網(wǎng)絡新聞采集中主題采集、類別采集的問題，并在其基本功

2、能的實現(xiàn)基礎上，進一步考慮提高系統(tǒng)的性能。本文引入了主題爬蟲和SVM分類器的概念，引入了Xpath和多線程的技術，在以上理論和技術的基礎上，設計并實現(xiàn)了一個基于主題和類別的網(wǎng)絡新聞采集系統(tǒng)，系統(tǒng)具有采集并存儲主題網(wǎng)絡新聞和類別網(wǎng)絡新聞的功能。在基于主題的網(wǎng)絡新聞采集中，本系統(tǒng)通過計算頁面相似度的方法形成爬取的優(yōu)先級隊列，然后通過Xpath技術抽取主題網(wǎng)絡新聞的標題、網(wǎng)址、發(fā)布時間、發(fā)布來源、正文等內容，最后將采集到的主題性網(wǎng)絡新聞數(shù)據(jù)存

3、儲到系統(tǒng)數(shù)據(jù)庫中。在基于類別的網(wǎng)絡新聞采集中，本文引入Libsvm包來實現(xiàn)分類器的訓練和構造，然后通過Xpath技術抽取類別新聞的標題、網(wǎng)址、發(fā)布時間、發(fā)布來源、正文等內容，類別包括社會、娛樂、財經(jīng)和體育，最后將采集到的類別性網(wǎng)絡新聞數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫中。
　　本研究首先介紹了網(wǎng)絡新聞采集的研究背景和意義，著重介紹了國內外對于主題爬蟲、分類器的研究工作；其次介紹了網(wǎng)絡新聞采集過程中涉及的理論和技術，包括Robots協(xié)議、通用網(wǎng)絡

4、爬蟲、支持向量機、主題爬蟲搜索策略、Xpath技術等；對系統(tǒng)的需求進行了分析和介紹，對系統(tǒng)的體系結構進行了整體設計，對系統(tǒng)的模塊組成進行了詳細設計，其中系統(tǒng)的模塊包括新聞網(wǎng)站種子注入模塊、網(wǎng)頁源代碼獲取模塊、網(wǎng)頁解析模塊、分類模塊、主題過濾模塊、URL調度模塊、URL去重模塊、網(wǎng)頁信息抽取模塊、數(shù)據(jù)庫存儲模塊；另外，在系統(tǒng)整體設計和詳細設計的基礎上，通過調用 ICTCLAS包和 Libsvm包，實現(xiàn)了以上設計的諸多模塊，進一步地實現(xiàn)了基