分布式主題網(wǎng)絡爬蟲的設計與實現(xiàn).pdf

1、近些年來，互聯(lián)網(wǎng)信息資源快速增長,如何能夠準確高效的在海量的網(wǎng)絡資源中獲取需要的信息成為了網(wǎng)絡研究的一個熱點。通用搜索引擎的信息量大，覆蓋面廣，滿足了用戶基本的信息檢索需求。但隨著網(wǎng)絡資源的不斷增長，用戶的個性化、定制化、專業(yè)化的搜索需求不斷增多。主題搜索引擎正是在這樣的背景下應運而生。主題搜索引擎只采集與某個特定領域相關的網(wǎng)絡信息資源,它不僅能夠為用戶提供更加高效、準確、定制化的檢索服務,而且信息檢索結(jié)果的時效性更強，因而成為現(xiàn)代信息

2、檢索的一種發(fā)展趨勢。
　　網(wǎng)絡爬蟲是搜索引擎的重要組成部分，它負責在互聯(lián)網(wǎng)上抓取網(wǎng)頁信息。與通用搜索引擎的爬蟲相比，主題爬蟲面向特定領域，僅僅采集與主題相關度高的網(wǎng)頁信息，而忽略其他信息。因此，它的信息更新周期更短，可以提供1-2天內(nèi)發(fā)布的最新信息。由于互聯(lián)網(wǎng)信息量巨大，使用單機來實現(xiàn)主題爬蟲并不現(xiàn)實，分布式主題爬蟲引起了業(yè)界的廣泛關注。
　　基于開源項目Nutch，本文實現(xiàn)了一個分布式主題爬蟲系統(tǒng)。本文所提出的爬蟲系統(tǒng)對N

3、utc h進行了擴展和優(yōu)化，使得爬蟲能有選擇地搜索與主題相關的網(wǎng)頁或網(wǎng)絡資源，減少了無關頁面的訪問頻次，提升了爬蟲的性能。具體來說，本文將基于支持向量機（SVM）的文本分類系統(tǒng)應用于主題相關度計算之中，并對該文本分類系統(tǒng)進行優(yōu)化和改進，使之更好地服務于主題爬蟲。其次，傳統(tǒng)的主題爬蟲系統(tǒng)各個模塊之間耦合度高，本文運用分層思想，重新設計了主題爬蟲系統(tǒng)的架構(gòu)，使得主題爬蟲系統(tǒng)業(yè)務擴展更加容易，并根據(jù)各個模塊的存儲特點合理選擇存儲策略，增強了系