基于用戶興趣的P2P內(nèi)容搜索機(jī)制的研究和實(shí)現(xiàn).pdf

1、對(duì)等網(wǎng)絡(luò)（P2P）技術(shù)是目前國(guó)際計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域研究的一個(gè)熱點(diǎn)，被《財(cái)富》雜志譽(yù)為將改變互聯(lián)網(wǎng)未來(lái)的四大新技術(shù)之一。人們從很多不同的角度來(lái)應(yīng)用P2P技術(shù)，主要應(yīng)用的角度包括：信息資源共享、普及計(jì)算、協(xié)同工作、實(shí)時(shí)通信技術(shù)、信息檢索技術(shù)、廣域網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)等。 隨著互聯(lián)網(wǎng)絡(luò)的迅猛發(fā)展，搜索引擎技術(shù)也在醞釀著一場(chǎng)重大的變革:搜索技術(shù)將更加智能化，搜索資源將更加廣泛，搜索方式將更加便捷，專(zhuān)項(xiàng)搜索將更加豐富，接受終端也將向移動(dòng)設(shè)備發(fā)展。

2、未來(lái)的搜索技術(shù)也將充分利用網(wǎng)絡(luò)環(huán)境里龐大的邊緣資源。P2P技術(shù)的特性同搜索引擎變革的需求照相呼應(yīng)，因此，基于對(duì)等技術(shù)的分布式內(nèi)容搜索技術(shù)橫空出世。 Internet范圍的文檔內(nèi)容搜索的傳統(tǒng)方法是Web搜索引擎，例如Google或Yahoo。這種搜索引擎采用集中式的搜索機(jī)制。例如, Google 需要網(wǎng)絡(luò)爬蟲(chóng)(crawler)從網(wǎng)絡(luò)上下載頁(yè)面并把它們存儲(chǔ)到集中的頁(yè)面數(shù)據(jù)庫(kù)中，然后解析頁(yè)面內(nèi)容并建立索引。索引被存儲(chǔ)在索引數(shù)據(jù)庫(kù)中。當(dāng)

3、一個(gè)用戶提交他的搜索請(qǐng)求后, Google 檢索它的索引數(shù)據(jù)庫(kù)并做出應(yīng)答。然而，這種集中式的搜集引擎有很多不足。首先，網(wǎng)絡(luò)爬蟲(chóng)不能對(duì)頁(yè)面數(shù)據(jù)庫(kù)提供及時(shí)的更新，因?yàn)轫?yè)面更新是有周期的。其次，對(duì)所有用戶的搜索請(qǐng)求，集中式的搜索引擎都會(huì)返回相同的結(jié)果，也就是說(shuō)，它們不能針對(duì)不同興趣的用戶返回個(gè)性化的搜索結(jié)果。 結(jié)合P2P技術(shù)和信息檢索技術(shù)，能夠?qū)崿F(xiàn)個(gè)性化的搜索。特別地，P2P技術(shù)非常適合于做Internet范圍的內(nèi)容搜索。這主要有兩個(gè)

4、原因: 1) 對(duì)等網(wǎng)絡(luò)數(shù)據(jù)是高度分布地，這些數(shù)據(jù)位于數(shù)以百萬(wàn)計(jì)地站點(diǎn)上，信息量巨大(越來(lái)越多的人在通過(guò)他們的博客(Blog)或其它方式共享自己的數(shù)據(jù)); 2) 對(duì)等網(wǎng)絡(luò)能夠按照網(wǎng)絡(luò)中節(jié)點(diǎn)的處理能力組成分布式的網(wǎng)絡(luò)服務(wù)器工廠，由于負(fù)載比較平衡，因此對(duì)等網(wǎng)絡(luò)能夠處理語(yǔ)言數(shù)據(jù)分析、統(tǒng)計(jì)學(xué)習(xí)等基于知識(shí)和推理的高級(jí)應(yīng)用。這一點(diǎn)對(duì)于集中式的網(wǎng)絡(luò)服務(wù)器而言，每天處理數(shù)以百萬(wàn)計(jì)的查詢(xún)請(qǐng)求會(huì)出問(wèn)題的。 本文給出了解決Internet規(guī)模的Web搜

5、索的初步方案。在這個(gè)方案中，P2P網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都是一個(gè)Web server, 所有這些Web server組成了一個(gè)Web 搜索聯(lián)盟。每個(gè)節(jié)點(diǎn)由索引模塊，興趣學(xué)習(xí)模塊和P2P路由模塊三個(gè)模塊組成。每個(gè)節(jié)點(diǎn)解析它的本地頁(yè)面并創(chuàng)建本地索引，然后根據(jù)索引內(nèi)容學(xué)習(xí)自己的興趣。節(jié)點(diǎn)的興趣代表了創(chuàng)建這個(gè)Web server的用戶的興趣。利用結(jié)構(gòu)化的P2P路由機(jī)制，這個(gè)Web server 聯(lián)盟可以提供索引發(fā)布服務(wù)和個(gè)性化的內(nèi)容檢索服務(wù)。因此，當(dāng)