面向主題的輿情采集搜索爬蟲的設計與實現(xiàn).pdf

1、針對目前通用搜索引擎所搜索到的結果過多，與主題相關性不強的情況，提出了面向主題的搜索引擎，以輿情信息為核心研究和設計了主題搜索爬蟲，為進行主題搜索引擎的研究奠定了良好的基礎。 本文首先介紹了面向主題搜索引擎的背景，然后對主題輿情搜索引擎的需求進行了分析，在這基礎上對系統(tǒng)進行了概要設計和詳細設計，最后就系統(tǒng)實現(xiàn)和測試進行了一些探討。 作為一個面向主題的輿情采集搜索爬蟲，系統(tǒng)實現(xiàn)了一個基于Boltzmann行動選擇策略的具有

2、在線增量自學習能力的面向主題搜索爬蟲的原型，通過控制網絡蜘蛛的貪婪程度，基于Boltzmann行動選擇策略進行爬行。本文引入網頁信噪比的概念，并通過它衡量網頁里關鍵詞的信息是否超過一定的閾值，從而判斷網頁是否屬于所要搜索的主題網頁，來調整網頁搜索的優(yōu)先級。在此基礎上，面向主題搜索爬蟲引入在爬行過程中自動更新學習模型，當?shù)玫街黝}相關頁面時產生回報，將回報沿鏈接鏈路反饋，更新鏈路上所有鏈接的Q值。通過這樣，避免了網絡蜘蛛過早陷入Web搜索空

3、間中局部最優(yōu)子空間的陷阱，同時能準確識別頁面的主題相關性，具有很好的自學習能力。同時可以根據鏈接優(yōu)先權隊列中鏈接的價值大小比較網頁搜索的優(yōu)先級。 基于以上研究，本文設計并部分實現(xiàn)了面向主題搜索爬蟲，并通過實驗與其它搜索策略進行比較，證實本文提出的算法在查全率與查準率兩方面都有一定的優(yōu)越性，在尋找最優(yōu)行動選擇序列方面具有優(yōu)勢。但是，如何完善目前網頁的權值判斷機制，使網絡鏈接價值的計算更精確，使搜索爬蟲更加智能化，需要以后進一步研究