主題網(wǎng)絡(luò)蜘蛛的研究與實(shí)現(xiàn).pdf

1、伴隨著因特網(wǎng)技術(shù)的快速發(fā)展，因特網(wǎng)上的信息資源以驚人的速度不斷增長(zhǎng)。在對(duì)這些海量的信息進(jìn)行檢索的過(guò)程中，傳統(tǒng)的Web搜索引擎越來(lái)越無(wú)法滿足人們的需要。在這種情況下，各類主題搜索引擎應(yīng)運(yùn)而生，成為研究的熱點(diǎn)。而作為主題搜索引擎重要組成部分，網(wǎng)絡(luò)蜘蛛的搜索算法問(wèn)題的研究具有極其重要的意義。 本文從機(jī)器學(xué)習(xí)的理論角度出發(fā)，圍繞如何提高網(wǎng)絡(luò)蜘蛛的資源采集效率問(wèn)題，采用了機(jī)器學(xué)習(xí)中的增強(qiáng)學(xué)習(xí)(Reinforcement Learning)

2、方法，對(duì)主題搜索引擎網(wǎng)絡(luò)蜘蛛的搜索算法進(jìn)行了深入的研究。 本文首先介紹了增強(qiáng)學(xué)習(xí)的基本概念和網(wǎng)絡(luò)蜘蛛搜索策略的研究進(jìn)展，在分析和比較現(xiàn)有專業(yè)搜索引擎網(wǎng)絡(luò)蜘蛛搜索策略的特點(diǎn)和優(yōu)缺點(diǎn)的基礎(chǔ)上，歸納了提高搜索效率的幾個(gè)關(guān)鍵因素。 文中針對(duì)提高網(wǎng)絡(luò)蜘蛛的學(xué)習(xí)效率問(wèn)題展開(kāi)研究，提出了一種基于經(jīng)驗(yàn)偏向信息學(xué)習(xí)機(jī)制的增強(qiáng)學(xué)習(xí)模型。主要思想是，通過(guò)學(xué)習(xí)環(huán)境狀態(tài)中的經(jīng)驗(yàn)偏向信息，動(dòng)態(tài)調(diào)整增強(qiáng)學(xué)習(xí)代理體的搜索策略，以減小搜索空間，提高學(xué)習(xí)效

3、率。在此基礎(chǔ)上，本文提出了一種基于經(jīng)驗(yàn)偏向信息學(xué)習(xí)機(jī)制的主題網(wǎng)絡(luò)蜘蛛學(xué)習(xí)算法，實(shí)驗(yàn)表明，該算法可以明顯提高主題網(wǎng)絡(luò)蜘蛛的學(xué)習(xí)效率。 針對(duì)傳統(tǒng)的主題網(wǎng)絡(luò)蜘蛛存在鏈接價(jià)值評(píng)價(jià)標(biāo)準(zhǔn)單一的問(wèn)題，本文提出了一種基于增強(qiáng)學(xué)習(xí)的啟發(fā)式主題網(wǎng)絡(luò)蜘蛛模型，新模型將立即回報(bào)價(jià)值和未來(lái)回報(bào)價(jià)值結(jié)合，用于計(jì)算鏈接的綜合回報(bào)價(jià)值。為解決對(duì)立即回報(bào)價(jià)值和未來(lái)回報(bào)價(jià)值信任度的權(quán)衡問(wèn)題，本文引入了價(jià)值置信函數(shù)的概念，提出了對(duì)于未來(lái)回報(bào)置信度遞減的啟發(fā)式搜索算法