面向IT的分布式主題爬蟲的設計及實現(xiàn).pdf

1、互聯(lián)網(wǎng)自誕生以來得到了迅猛的發(fā)展，Web信息更是呈現(xiàn)出指數(shù)形式地增長。傳統(tǒng)的單機多線程主題爬蟲已經(jīng)不適合用來完成海量信息的抓取工作。正是在這樣的背景下，云計算的出現(xiàn)為解決大數(shù)據(jù)問題提供了一個良好的解決方案，其中Apache旗下的頂級項目Hadoop分布式平臺獲得了業(yè)界的廣泛關(guān)注。
　　本文在分析研究主題爬蟲框架的基礎上，著重介紹并分析了主題爬蟲的主題模塊、相關(guān)度判別模塊、頁面下載模塊等關(guān)鍵模塊。接著，對主題特征選擇問題進行了實驗，

2、目的在于構(gòu)建一個能夠表征主題的特征向量。在主題爬蟲爬行策略部分，在分析了基于內(nèi)容與鏈接的爬行策略各自不足之處之后，提出了一個基于Shark-Search算法與PageRank算法的組合算法。
　　本文的最后，先分析了開源爬蟲Nutch的架構(gòu)及工作流程，然后在Nutch相關(guān)模塊上加入主題判別模塊，對相關(guān)的模塊進行了測試，最后設計并實現(xiàn)了一個面向IT領(lǐng)域的分布式主題爬蟲。實驗結(jié)果表明本文提出的主題爬蟲組合算法是有效的，設計方案具有一定