基于Hadoop的網(wǎng)絡聚焦爬蟲抓取策略和解析方法研究.pdf

1、近年來互聯(lián)網(wǎng)的發(fā)展速度越來越快，海量資源出現(xiàn)在網(wǎng)絡上，以聚焦爬蟲為核心的垂直搜索引擎因其針對性和準確性的優(yōu)勢更受用戶歡迎。但現(xiàn)有聚焦爬蟲網(wǎng)頁抓取及解析方法還存在以下幾個問題：（1）爬行策略中僅考慮鏈接結構或網(wǎng)頁內容單方面因素對爬行策略的影響，且不關心鏈接文本之間的關系；（2）目前Web頁面解析算法僅支持有限的類型，過于片面，解析效果不佳；（3）現(xiàn)有解析算法大都內嵌于爬蟲系統(tǒng)中，拓展性不高，對于海量數(shù)據(jù)處理不具有適用性。Hadoop平臺因

2、其高可靠性和良好的擴展性，廣泛應用于對海量數(shù)據(jù)的處理?；贖adoop平臺，研究聚焦爬蟲的網(wǎng)頁抓取及解析方法，具有較高的理論價值和實際意義。
　　基于以上問題，本文進行以下三個方面的研究工作：
　?。?）針對現(xiàn)有爬蟲爬行算法效率不高的問題，本文分析了現(xiàn)有聚焦爬蟲的URL鏈接分析模型，提出了基于網(wǎng)頁內容分析和密度劃分的聚焦爬蟲策略。該策略在網(wǎng)頁語義內容評價鏈接的基礎上，采用基于密度劃分的聚類方法，對已下載的鏈接進行聚類，根據(jù)鏈

3、接之間的關聯(lián)性來提高爬蟲抓取網(wǎng)頁的精準度。此外，該算法綜合考慮待下載鏈接與已下載鏈接簇的相似度，對網(wǎng)頁內容及鏈接錨文本進行相似度分析，有效提高爬蟲工作效率。
　　（2）針對現(xiàn)有網(wǎng)頁解析算法準確度不高且對海量數(shù)據(jù)處理的適用性低，為進一步提高爬蟲運行的速度，本文分析Web網(wǎng)頁內容中目標文本與噪音文本所在標簽路徑的特征，結合Map/Reduce模型并利用分層合并降度的思想，提出了一種新的基于DOM樹和Map/Reduce的網(wǎng)頁解析算法。

4、該算法不僅能提高其目標文本解析準確度，更大幅度的提升其處理速度。
　?。?）在實驗部分，對以上兩種算法進行實驗測試。在第一個算法的實驗中，比較抓取數(shù)據(jù)以確定算法中權值參數(shù)?、?的最佳取值，通過其與 Best-First Search算法和Shark-Search算法的縱向對比驗證了該算法的準確率、有效性及其自身學習能力；在第二個算法實驗中，首先對兩個數(shù)據(jù)集進行測試并觀察其解析效果，然后對比其在Hadoop環(huán)境與傳統(tǒng)多線程環(huán)境中消耗