基于強化學習的垂直搜索引擎網(wǎng)絡(luò)爬蟲的研究與實現(xiàn).pdf

1、本文將強化學習方法引入到垂直搜索引擎網(wǎng)絡(luò)爬蟲中，設(shè)計實現(xiàn)了面向餐飲業(yè)的基于強化學習的垂直搜索引擎網(wǎng)絡(luò)爬蟲RL-Spider(Reinforcement Learning Spider)。建立了RL-Spider的流程架構(gòu)，并設(shè)計實現(xiàn)了面向餐飲業(yè)的垂直搜索引擎RL-Seareher(Reinforcement Learning Searcher)原型系統(tǒng)。本文主要包括以下幾方面內(nèi)容： (1)針對傳統(tǒng)搜索引擎爬蟲程序抓取信息全但不夠

2、細化的特點，設(shè)計了一個面向餐飲業(yè)領(lǐng)域的聚焦爬蟲。提出了基于強化學習的網(wǎng)絡(luò)爬蟲算法，并應(yīng)用于餐飲類站點的發(fā)現(xiàn)中。實驗表明，該系統(tǒng)在信息查全率、查準率等方面都有較大的提高。 (2)針對網(wǎng)絡(luò)爬蟲在URL提取過程中，采用深度、寬度搜索策略等方法，容易使網(wǎng)絡(luò)爬蟲陷入“維數(shù)災”問題，在研究邏輯程序設(shè)計與強化學習方法結(jié)合的基礎(chǔ)上，提出了基于邏輯強化學習的網(wǎng)絡(luò)自主搜索方法，并在RL-Spider中得到了應(yīng)用。實驗表明，系統(tǒng)在大規(guī)模網(wǎng)絡(luò)爬蟲中，可

3、大幅度提高網(wǎng)絡(luò)自主搜索效率。 (3)針對在RL-Spider中，“主題網(wǎng)頁發(fā)現(xiàn)”等方面的問題，根據(jù)強化學習的自身策略，實現(xiàn)了強化學習在“主題網(wǎng)頁發(fā)現(xiàn)”中的應(yīng)用，并提出Detail頁的URL，識別算法。實驗表明，該算法能夠大幅度地提高“主題網(wǎng)頁發(fā)現(xiàn)”的準確率。 (4)在RL-Spider架構(gòu)的Detail模塊中，對Detail頁面的關(guān)鍵信息進行提取，如Title、Meta、文本信息等，并建立索引、去除無關(guān)信息、建立網(wǎng)頁快照