基于URL分析的主題網(wǎng)絡(luò)機(jī)器人研究.pdf

1、作為搜索引擎的重要組成部分，網(wǎng)絡(luò)機(jī)器人能從Internet上自動(dòng)獲取網(wǎng)頁(yè)，替搜索引擎在Internet上搜集網(wǎng)頁(yè)。通用網(wǎng)絡(luò)機(jī)器人以種子URL作為入口，對(duì)整個(gè)Web進(jìn)行遍歷下載。而主題網(wǎng)絡(luò)機(jī)器人不單單是充當(dāng)一個(gè)獲取網(wǎng)頁(yè)的工具，還能夠?qū)︽溄右约绊?yè)面內(nèi)容進(jìn)行主題相關(guān)性識(shí)別。主題網(wǎng)絡(luò)機(jī)器人并不僅把目標(biāo)定位覆蓋率，還要提高獲取主題相關(guān)網(wǎng)頁(yè)的準(zhǔn)確性，為搜索引擎提供一個(gè)主題相關(guān)的網(wǎng)頁(yè)庫(kù)?，F(xiàn)在，主題網(wǎng)絡(luò)機(jī)器人已經(jīng)成為搜索引擎技術(shù)領(lǐng)域的一個(gè)研究熱點(diǎn)，是搜

2、索引擎的發(fā)展的重點(diǎn)方向之一。
　　本文的主要的研究工作和特點(diǎn)如下：
　　1．研究了一種改進(jìn)后的FICA（Fast Intelligent Crawling Algorithm）算法，該算法可以快速的對(duì)同一層的URL進(jìn)行簡(jiǎn)單的重要性排序，這樣主題網(wǎng)絡(luò)機(jī)器人就可以優(yōu)先搜集重要性較高的頁(yè)面；
　　2．研究了一種改進(jìn)后的Sydney Strategy算法，該算法既可以有效地控制隊(duì)列中暫存的URL數(shù)量，在很大程度上保證了覆蓋度，

3、又可以有效地利用相鄰鏈接間主題相關(guān)的特點(diǎn)；
　　3．提出了一種新的隧道穿越的方法：在保證主題網(wǎng)絡(luò)機(jī)器人主線程快速搜集主題相關(guān)頁(yè)面的前提下，利用一個(gè)次線程，將主線程搜集的所有主題不相關(guān)URL遍歷一定的深度，找出其中主題相關(guān)的URL，再將這些URL掛回主線程，從而在較大程度上達(dá)到對(duì)隧道的穿越；
　　4．本文使用改進(jìn)后的FICA算法，改進(jìn)后的Sydney Strategy算法，KNN算法以及本文提出的隧道穿越方法，構(gòu)建了一個(gè)快速、