基于頁面分析的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著時間的慢慢的往后延續(xù),科學技術(shù)水平不斷的創(chuàng)新,網(wǎng)絡(luò)通訊也越來越發(fā)達,網(wǎng)絡(luò)信息的發(fā)布和傳輸越來越快,人們對數(shù)據(jù)的需求量的急劇的增加,Web上的信息也同時以大指數(shù)級的增加,慢慢的網(wǎng)絡(luò)信息的過濾的顯得尤為的重要,同時也不斷的推動著網(wǎng)絡(luò)爬蟲技術(shù)的快速向前改進,對于傳統(tǒng)的網(wǎng)頁爬蟲所選擇的過濾條件過與廣泛,導致信息的及時性與主題的相關(guān)性的很難得到保障,所以對于如何提高網(wǎng)絡(luò)爬蟲的搜索效率以及信息的過濾就很值得研究了。
　　本文研究目的在于提

2、高搜索的效率,在最少的時間內(nèi)得到用戶最想要的結(jié)果,Web采集信息的主要過程包括:網(wǎng)頁爬取,網(wǎng)頁過濾,網(wǎng)頁分析,網(wǎng)頁本地化,網(wǎng)頁爬取需要解決的問題是通過程序高效的抓取到目的網(wǎng)頁,頁面過濾對垃圾頁面,頁面內(nèi)容進行分析過濾,頁面分析對獲取的頁面進行拆分組合的過程,頁面本地化是對頁面的客戶端完整顯示出來。
　　本文實現(xiàn)了一個可以自動抓取網(wǎng)頁的Spider,詳細的講解了URL地址解析,去重,頁面加載,頁面過濾等關(guān)鍵技術(shù),對URL地址解析,在