基于Hadoop的RSS內(nèi)容抓取與排版系統(tǒng)的開發(fā).pdf

1、在過去的幾年里，互聯(lián)網(wǎng)技術(shù)和云計算技術(shù)由于分布式存儲與可伸縮的彈性服務(wù)等優(yōu)點，極大推動了社會各方面的發(fā)展。對傳統(tǒng)內(nèi)容提供商和出版行業(yè)造成了沖擊也帶來了機遇。傳統(tǒng)的出版物：新聞報紙、雜志、書籍的生成過程大部分是一個手動過程，成本較高，速度慢，樣式死板，選擇少。在此背景下，本文開發(fā)了一個RSS內(nèi)容抓取與排版系統(tǒng)，利用Hadoop實現(xiàn)自動地分布式抓取RSS源內(nèi)容并且解析網(wǎng)頁內(nèi)容，根據(jù)客戶訂閱的內(nèi)容按模板自動生成出版物，并將其傳送到與網(wǎng)絡(luò)連接的

2、打印機。
　　首先，本文分析了基于Hadoop的RSS內(nèi)容抓取與排版系統(tǒng)的功能需求與非功能需求，并進行了架構(gòu)設(shè)計。系統(tǒng)采用分布式架構(gòu)，分為五大子系統(tǒng):
　?、貾ortal子系統(tǒng)，是開放式的服務(wù)提供的公共門戶，負責(zé)發(fā)布內(nèi)容、注冊出版物、并訂閱出版物；
　?、贘ob Server子系統(tǒng)，負責(zé)任務(wù)調(diào)度，將Portal服務(wù)進行任務(wù)拆分、分發(fā)和協(xié)調(diào)；
　　③Webkit Cluster子系統(tǒng)，負責(zé)互聯(lián)網(wǎng)上的網(wǎng)頁抓取；

3、>　?、蹵lgorithm Cluster子系統(tǒng)，基于map reduce框架實現(xiàn)網(wǎng)頁內(nèi)容的快速提??；
　　⑤Layout Engine Cluster子系統(tǒng)，實現(xiàn)自動排版及出版物生成。
　　接著，本文對Job Server和Layout Engine Cluster這兩個子系統(tǒng)進行了詳細設(shè)計和實現(xiàn)，設(shè)計了核心流程和多層結(jié)構(gòu)，研究和實現(xiàn)了以下關(guān)鍵技術(shù)：基于高效動態(tài)并發(fā)框架上的任務(wù)調(diào)度；采用ActiveMQ、Redis、Mon

4、goDB和HDFS提供靈活高效的數(shù)據(jù)存儲和訪問服務(wù)；通過自動排版算法，生成高質(zhì)量的出版物。
　　最后，本文對本系統(tǒng)進行了配置測試、故障測試、功能測試和性能測試，測試結(jié)果表明，系統(tǒng)能同時支持10000個在線用戶數(shù)，達到了預(yù)期的目標。目前本系統(tǒng)已在惠普公司個人打印服務(wù)事業(yè)部進行了成功實施，既實現(xiàn)了出版商的運營成本的降低，又以選定的模板快速地將輸出物，提供給客戶，平均成本非常小，省去了人工成本，而且生成PDF的時間從2個小時下降到2分鐘