智能信息采集搜索策略研究.pdf

1、近年來，如何在Web海量信息中盡可能多地獲取與用戶興趣相關的頁面是搜索引擎領域研究的熱點之一。本文通過改善網(wǎng)絡蜘蛛的自適應性來提高搜索效率，對基于主題的網(wǎng)絡蜘蛛的搜索策略進行較為深入的研究。 本文首先介紹了現(xiàn)階段網(wǎng)絡蜘蛛的研究進展，在分析和比較現(xiàn)有基于主題的網(wǎng)絡蜘蛛搜索策略的優(yōu)缺點的基礎上，探討了如何提高網(wǎng)絡蜘蛛的自適應性和預測鏈接價值的準確性，以此來提高搜索的效率。 為了提高網(wǎng)絡蜘蛛的自適應性，本文提出一種基于綜合價值

2、的搜索算法，通過結(jié)合鏈接的立即價值和未來價值，分析這兩者相應的變化趨勢來判斷待搜索頁面集與主題的相關性，依此動態(tài)調(diào)整這兩種價值的權(quán)值關系，產(chǎn)生適合實際搜索情況的最優(yōu)搜索策略。實驗結(jié)果表明，新算法在整體性能上明顯優(yōu)于采用單一鏈接評價方法的網(wǎng)絡蜘蛛搜索算法。 為了提高鏈接價值預測的準確性，本文針對傳統(tǒng)的PageRank算法存在的主題漂移現(xiàn)象，提出基于主題分塊的PageRank算法，利用信息抽取的方法對網(wǎng)頁建立DOM層次樹，按照網(wǎng)頁結(jié)

3、構(gòu)對網(wǎng)頁進行分塊，依照各塊與主題的相關性大小對塊中的鏈接傳遞不同的PageRank值，并根據(jù)已訪問的鏈接對塊進行相關性反饋。實驗結(jié)果表明新的算法能較好地改進搜索結(jié)果的精確度。 本文還提出一種基于遺傳算法的網(wǎng)絡蜘蛛搜索策略，將遺傳算法引入網(wǎng)絡蜘蛛搜索策略，將父頁面，鏈接文本，鏈接的URL以及兄弟鏈接等信息的不同組合作為不同的基因序列，通過交叉、變異操作使web信息的組合方式可以隨著web資源的實際情況而動態(tài)變動，得到符合web情況