基于URL分析的主題網(wǎng)絡(luò)機(jī)器人研究.pdf

1、作為搜索引擎的重要組成部分，網(wǎng)絡(luò)機(jī)器人能從Internet上自動獲取網(wǎng)頁，替搜索引擎在Internet上搜集網(wǎng)頁。通用網(wǎng)絡(luò)機(jī)器人以種子URL作為入口，對整個Web進(jìn)行遍歷下載。而主題網(wǎng)絡(luò)機(jī)器人不單單是充當(dāng)一個獲取網(wǎng)頁的工具，還能夠?qū)︽溄右约绊撁鎯?nèi)容進(jìn)行主題相關(guān)性識別。主題網(wǎng)絡(luò)機(jī)器人并不僅把目標(biāo)定位覆蓋率，還要提高獲取主題相關(guān)網(wǎng)頁的準(zhǔn)確性，為搜索引擎提供一個主題相關(guān)的網(wǎng)頁庫?，F(xiàn)在，主題網(wǎng)絡(luò)機(jī)器人已經(jīng)成為搜索引擎技術(shù)領(lǐng)域的一個研究熱點(diǎn)，是搜

2、索引擎的發(fā)展的重點(diǎn)方向之一。
　　本文的主要的研究工作和特點(diǎn)如下：
　　1．研究了一種改進(jìn)后的FICA（Fast Intelligent Crawling Algorithm）算法，該算法可以快速的對同一層的URL進(jìn)行簡單的重要性排序，這樣主題網(wǎng)絡(luò)機(jī)器人就可以優(yōu)先搜集重要性較高的頁面；
　　2．研究了一種改進(jìn)后的Sydney Strategy算法，該算法既可以有效地控制隊列中暫存的URL數(shù)量，在很大程度上保證了覆蓋度，

3、又可以有效地利用相鄰鏈接間主題相關(guān)的特點(diǎn)；
　　3．提出了一種新的隧道穿越的方法：在保證主題網(wǎng)絡(luò)機(jī)器人主線程快速搜集主題相關(guān)頁面的前提下，利用一個次線程，將主線程搜集的所有主題不相關(guān)URL遍歷一定的深度，找出其中主題相關(guān)的URL，再將這些URL掛回主線程，從而在較大程度上達(dá)到對隧道的穿越；
　　4．本文使用改進(jìn)后的FICA算法，改進(jìn)后的Sydney Strategy算法，KNN算法以及本文提出的隧道穿越方法，構(gòu)建了一個快速、