智能信息采集搜索策略研究.pdf

1、近年來(lái)，如何在Web海量信息中盡可能多地獲取與用戶興趣相關(guān)的頁(yè)面是搜索引擎領(lǐng)域研究的熱點(diǎn)之一。本文通過(guò)改善網(wǎng)絡(luò)蜘蛛的自適應(yīng)性來(lái)提高搜索效率，對(duì)基于主題的網(wǎng)絡(luò)蜘蛛的搜索策略進(jìn)行較為深入的研究。 本文首先介紹了現(xiàn)階段網(wǎng)絡(luò)蜘蛛的研究進(jìn)展，在分析和比較現(xiàn)有基于主題的網(wǎng)絡(luò)蜘蛛搜索策略的優(yōu)缺點(diǎn)的基礎(chǔ)上，探討了如何提高網(wǎng)絡(luò)蜘蛛的自適應(yīng)性和預(yù)測(cè)鏈接價(jià)值的準(zhǔn)確性，以此來(lái)提高搜索的效率。 為了提高網(wǎng)絡(luò)蜘蛛的自適應(yīng)性，本文提出一種基于綜合價(jià)值

2、的搜索算法，通過(guò)結(jié)合鏈接的立即價(jià)值和未來(lái)價(jià)值，分析這兩者相應(yīng)的變化趨勢(shì)來(lái)判斷待搜索頁(yè)面集與主題的相關(guān)性，依此動(dòng)態(tài)調(diào)整這兩種價(jià)值的權(quán)值關(guān)系，產(chǎn)生適合實(shí)際搜索情況的最優(yōu)搜索策略。實(shí)驗(yàn)結(jié)果表明，新算法在整體性能上明顯優(yōu)于采用單一鏈接評(píng)價(jià)方法的網(wǎng)絡(luò)蜘蛛搜索算法。 為了提高鏈接價(jià)值預(yù)測(cè)的準(zhǔn)確性，本文針對(duì)傳統(tǒng)的PageRank算法存在的主題漂移現(xiàn)象，提出基于主題分塊的PageRank算法，利用信息抽取的方法對(duì)網(wǎng)頁(yè)建立DOM層次樹，按照網(wǎng)頁(yè)結(jié)

3、構(gòu)對(duì)網(wǎng)頁(yè)進(jìn)行分塊，依照各塊與主題的相關(guān)性大小對(duì)塊中的鏈接傳遞不同的PageRank值，并根據(jù)已訪問(wèn)的鏈接對(duì)塊進(jìn)行相關(guān)性反饋。實(shí)驗(yàn)結(jié)果表明新的算法能較好地改進(jìn)搜索結(jié)果的精確度。 本文還提出一種基于遺傳算法的網(wǎng)絡(luò)蜘蛛搜索策略，將遺傳算法引入網(wǎng)絡(luò)蜘蛛搜索策略，將父頁(yè)面，鏈接文本，鏈接的URL以及兄弟鏈接等信息的不同組合作為不同的基因序列，通過(guò)交叉、變異操作使web信息的組合方式可以隨著web資源的實(shí)際情況而動(dòng)態(tài)變動(dòng)，得到符合web情況