主題搜索引擎爬行策略的研究.pdf

1、隨著互聯(lián)網(wǎng)信息的持續(xù)爆炸性增長(zhǎng)，通用搜索引擎的信息覆蓋率和檢索精度都在不斷下降，發(fā)展主題搜索引擎已經(jīng)成為趨勢(shì)。由于主題搜索引擎搜索的內(nèi)容只限于特定主題或?qū)ｉT(mén)領(lǐng)域，被通用搜索引擎所廣泛采用的基于圖的遍歷搜索策略(如廣度或深度優(yōu)先算法)已不再適用，因此，以何種策略訪問(wèn)Web(即主題爬行策略)已成為近年來(lái)主題搜索引擎研究的關(guān)鍵問(wèn)題之一。 本文從提高主題爬蟲(chóng)的搜索效率和搜索精度出發(fā)，在以下四個(gè)方面對(duì)主題搜索引擎的爬行策略進(jìn)行了較為深入的

2、研究。 首先，本文基于現(xiàn)階段國(guó)內(nèi)外網(wǎng)絡(luò)爬蟲(chóng)的研究進(jìn)展，在分析和比較現(xiàn)有主題網(wǎng)絡(luò)爬蟲(chóng)搜索策略的優(yōu)缺點(diǎn)的基礎(chǔ)上，探討了網(wǎng)絡(luò)爬蟲(chóng)主題價(jià)值預(yù)測(cè)的準(zhǔn)確性、重要性及主題網(wǎng)絡(luò)資源覆蓋度的搜索策略，以提高主題爬蟲(chóng)的自適應(yīng)性和搜索效率。 其次，為了提高網(wǎng)絡(luò)爬蟲(chóng)預(yù)測(cè)鏈接價(jià)值的準(zhǔn)確性，本文提出了Shark改進(jìn)算法，其主要思想是：通過(guò)改進(jìn)Shark算法來(lái)提高搜索相關(guān)網(wǎng)頁(yè)的能力以及降低優(yōu)先排序空間復(fù)雜度和時(shí)間復(fù)雜度，提高搜索效率、節(jié)約大量時(shí)間和資

3、源。 再次，為了提高網(wǎng)絡(luò)爬蟲(chóng)的自適應(yīng)性，本文針對(duì)傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)存在的價(jià)值評(píng)價(jià)標(biāo)準(zhǔn)單一的問(wèn)題，提出了一種基于綜合價(jià)值的綜合爬行策略，此策略根據(jù)不同的搜索階段選擇采用符合實(shí)際情況的最優(yōu)搜索策略。 最后，本研究采用改進(jìn)的Shark算法和自行設(shè)計(jì)的綜合爬行策略相結(jié)合，實(shí)現(xiàn)了一個(gè)基于多種搜索策略的主題搜索引擎網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)原型。本系統(tǒng)綜合了網(wǎng)頁(yè)的相關(guān)性和重要性兩方面的需要，不僅能夠準(zhǔn)確、自動(dòng)地爬行到主題相關(guān)網(wǎng)頁(yè)，從而提高信息搜索的效率