基于Scrapy的分布式網(wǎng)絡(luò)新聞抓取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)快速發(fā)展的推動(dòng)下，人類生活的基本方式已經(jīng)悄然發(fā)生改變。以往的物質(zhì)交換方式、信息傳播方式演變?yōu)樾聲r(shí)代的“非主流”，互聯(lián)網(wǎng)取而代之成為社會(huì)生活的必需品。新聞是生活中信息獲取的最主要途徑之一，隨著網(wǎng)絡(luò)的發(fā)展和應(yīng)用，新聞媒體已經(jīng)演變?yōu)閭鹘y(tǒng)媒體與網(wǎng)絡(luò)媒體相融合的新媒體，大眾獲取新聞資訊的途徑不斷增多。網(wǎng)絡(luò)新聞的時(shí)滯不斷縮小，使得更多社會(huì)群體逐漸開始從互聯(lián)網(wǎng)上獲取新聞資訊，基于網(wǎng)絡(luò)新聞的大數(shù)據(jù)前沿課題研究越來越熱，科研領(lǐng)域?qū)W(wǎng)絡(luò)新聞數(shù)據(jù)的需

2、求不斷增多。在此背景下，論文設(shè)計(jì)實(shí)現(xiàn)分布式網(wǎng)絡(luò)新聞抓取系統(tǒng)來抓取網(wǎng)絡(luò)新聞數(shù)據(jù)，為相關(guān)研究提供數(shù)據(jù)支持。
　　基于研究課題，論文介紹了網(wǎng)絡(luò)爬蟲的產(chǎn)生、發(fā)展和工作原理，Scrapy爬蟲框架的結(jié)構(gòu)和工作流程，Scrapy-Redis的組成和各組件功能，Graphite的相關(guān)概念。在深入分析網(wǎng)絡(luò)新聞爬蟲特點(diǎn)的基礎(chǔ)上，根據(jù)新聞網(wǎng)頁(yè)特點(diǎn)設(shè)計(jì)爬蟲爬取策略和提取字段，在Scrapy框架的基礎(chǔ)上，使用自定義下載中間件避免爬蟲爬行時(shí)被網(wǎng)站屏蔽，運(yùn)用R

3、edis數(shù)據(jù)庫(kù)部署主從結(jié)構(gòu)的分布式爬蟲集群，提高數(shù)據(jù)抓取效率，運(yùn)用Graphite實(shí)現(xiàn)系統(tǒng)狀態(tài)可視化，運(yùn)用Selenium解決了動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)的抓取問題。文中還設(shè)計(jì)編寫了系統(tǒng)數(shù)據(jù)處理模塊，主要包括數(shù)據(jù)清洗、編碼轉(zhuǎn)換、對(duì)象添加、數(shù)據(jù)分類等功能。為測(cè)試系統(tǒng)的性能，以騰訊網(wǎng)國(guó)內(nèi)新聞、國(guó)際新聞、社會(huì)新聞以及軍事新聞四大新聞欄目為抓取目標(biāo)，運(yùn)行10小時(shí)，抓取了3萬余條新聞內(nèi)容和數(shù)百萬條評(píng)論信息。最后，本文通過三個(gè)基礎(chǔ)數(shù)據(jù)分析實(shí)驗(yàn)，從新聞內(nèi)容、網(wǎng)絡(luò)媒