網(wǎng)絡(luò)資源搜索及獲取關(guān)鍵技術(shù)研究.pdf

1、隨著Internet技術(shù)的高速發(fā)展及互聯(lián)網(wǎng)的快速普及,網(wǎng)絡(luò)上的信息成指數(shù)級增長。因而也帶來了迫切需要解決的問題:如何才能快速準確的搜索和獲取到網(wǎng)絡(luò)資源。在這種背景下搜索引擎技術(shù)和P2P技術(shù)得到迅速的發(fā)展,并成為如今最熱門的技術(shù)之一。隨著近幾年來Google和百度等搜索引擎的巨大成功,以及P2P等下載技術(shù)的日益成熟,各式各樣的網(wǎng)站及企業(yè),都意識到需要加入自己獨特的檢索功能,以滿足用戶的不同需求,并提供一種快速的下載方式,在有限的帶寬下,使

2、用戶能夠快速的獲取到所需要的資源。所以本文提出了一種搜索引擎及P2P技術(shù)的實現(xiàn),以滿足網(wǎng)站及企業(yè)定制符合自己特色的網(wǎng)絡(luò)資源搜索和獲取的需求。
　　網(wǎng)絡(luò)搜索引擎的關(guān)鍵技術(shù)是網(wǎng)絡(luò)爬蟲的實現(xiàn)。網(wǎng)絡(luò)爬蟲又被稱為網(wǎng)頁蜘蛛或網(wǎng)絡(luò)機器人,是一種可以按照一定的規(guī)則,進而自動搜索網(wǎng)頁中所需要的信息的一種程序或者腳本。本論文設(shè)計了一種網(wǎng)絡(luò)爬蟲用于從網(wǎng)絡(luò)上搜索Mp3文件。其主要分為頁面分析,頁面提取,鏈接存儲,資源下載模塊。頁面分析模塊負責(zé)解析并分析頁

3、面的DOM樹文檔結(jié)構(gòu);頁面提取模塊負責(zé)提取需要的鏈接;鏈接存儲模塊用于保存搜索到的鏈接,供爬蟲下次搜索使用或用于下載模塊;下載模塊利用HTTP協(xié)議將需要的網(wǎng)絡(luò)資源下載下來。
　　P2P技術(shù)是為了實現(xiàn)端對端的直接通信所提出的技術(shù),被廣泛用于資源分享中,可以顯著提高資源分享速度。由于網(wǎng)絡(luò)中存在的網(wǎng)絡(luò)地址轉(zhuǎn)換設(shè)備和防火墻的影響,需要利用P2P技術(shù)解決在NAT和防火墻設(shè)備里的機器之間的通信問題。本論文使用JXTA開源項目,設(shè)計了一個P2P